大数据技术架构专家
上海德邦物流有限公司
- 公司规模:10000人以上
- 公司性质:民营公司
- 公司行业:交通/运输/物流
职位信息
- 发布日期:2019-04-28
- 工作地点:上海-青浦区
- 招聘人数:若干人
- 工作经验:8-9年经验
- 学历要求:本科
- 职位月薪:2.5-5万/月
- 职位类别:系统架构设计师
职位描述
1、负责企业级数据中台规划、架构设计、组件封装以及疑难技术问题解决
2、深入理解企业级数据中台需求,进行整体架构设计、技术选型、关键核心模块的研发以及疑难问题解决
3、针对具体业务需求提出合适的算法解决方案,应用先进的统计建模、数据挖掘,机器学习等方法建立数据模型,优化算法,推动该方案在业务系统的实现。算法包括但不限于机器学习,推荐算法,自然语言处理等;
4、负责大数据应用项目的模型技术设计、数据提取清洗、数据衍生变换、模型开发、模型验证评估到最终模型实施的项目全生命周期,解决不同场景下的业务问题,包含但不限于客户画像、精准营销、业务预测、路由规划、线路优化等
任职资格
1、精通Java、Scala、Python、SQL、R等开发语言中至少2到3种
2、精通CDH、Ambari、Yarn/Mesos、Zookeeper等安装配置与参数调优,并在中大型项目中有Trouble Shooting的实际经验
3、熟练掌握Hadoop、Spark、Storm、Flink、Kylin、Druid等大数据计算技术,并在中大型项目中有Trouble Shooting的实际经验
4、熟练掌握HDFS、Hbase、Hive、ElasticSearch、Casandra、Mongodb等大数据存储技术的安装配置与性能调优,并在中大型项目中有Trouble Shooting的实际经验
5、熟练掌握Kafka、Nifi、Flume、Sqoop等大数据集成技术的安装配置与性能调优,并在中大型项目中有Trouble Shooting的实际经验
6、熟练掌握Redis、Ignite、Geode等分布式缓存和数据网格技术的安装配置与性能调优,并在中大型项目中有Trouble Shooting的实际经验
7、熟练掌握Impala、Spark SQL、Drill等大数据即席查询技术,并在中大型项目中有Trouble Shooting的实际经验
8、熟练掌握数据库技术,对MySQL等数据库有一定的了解和使用经验
9、熟悉Docker/Kubernetes等大数据分布式集群技术的安装配置与性能调优者优先
10、熟悉JMX大数据监控管理技术,并具有相关开源监控管理组件的使用经验者优先
11、有企业数据中台建设实施开发经验者优先
12、有Zepplin、Jupyter Note等实际应用开发经验者优先
13、有JanusGraph、OpenTSDB等实际应用开发经验者优先
14、有Tensorflow安装配置调优以及实际应用开发经验者优先
15、具有良好的商业敏感度、数据敏感度和优秀的数据分析技能,能够开发创新而实际的分析方法以解决复杂的商业问题,注重业务逻辑与数据逻辑相结合,接地气意识和落地能力都要强
16、熟悉常用机器学习和数据挖掘算法,包括但不限于GBDT、随机森林、支持向量机、Logistic回归以及深度学习等算法
17、良好的沟通能力和团队合作精神,能够协同工作,乐于在技术上指导帮助团队成员
18、优先考虑具备BAT或知名互联网或高科技公司数据挖掘以及大型数据系统或平台的架构设计者经验
19、向开源社区贡献过 patch 者优先
公司介绍
上海德启信息科技有限公司为德邦快递的子公司,主要涉及IT。 德邦始终紧随客户需求而持续创新,坚持自营门店与事业合伙人相结合的网络拓展模式,搭建优选线路,优化运力成本,为客户提供快速高效、便捷及时、安全可靠的服务。截至2017年5月,公司已开设10000多家标准化的门店,服务网络覆盖全国34个省级行政区,全国转运中心总面积超过110万平方米。目前,德邦正从国际快递、跨境电商、国际货代三大方向切入跨境市场,已开通韩国、日本、泰国等多条国际线路,全球员工人数超过11万名。
联系方式
- Email:wangxiao025@deppon.com
- 公司地址:地址:span明珠路1018号