大数据开发工程师
上海态特网络科技有限公司
- 公司规模:50-150人
- 公司性质:合资
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2020-09-06
- 工作地点:上海-闵行区
- 招聘人数:2人
- 工作经验:5-7年经验
- 学历要求:本科
- 职位月薪:1.6-2.6万/月
- 职位类别:Hadoop工程师 大数据开发工程师
职位描述
岗位职责:
1、负责搭建Hadoop/Spark/Kudu/Impala/Flume/Kafka大数据平台, 基于Spark/Kudu为核心技术构建航空物流的数据中台和实时大数据系统;
2、基于Spark技术的大数据离线、实时开发和运维;
3、根据相关业务需求和产品设计使用Spark SQL、Spark Streaming技术进行数仓建模、ETL开发、实时流计算和数据挖掘等工作;
4、负责基于Spark MLlib进行机器学习的建模和开发,实现大数据的深度挖掘和应用。
岗位要求:
1、本科以上学历,熟悉CM/CDH平台搭建、Hadoop、Spark、Flume、Kafka、Kudu、Impala相关技术,至少有两年Spark开发经验;
2、熟悉Spark SQL和SparkStreaming实时开发;
3、熟悉数据仓库建模和ETL开发,熟悉Azkaban或AirFlow调度工具;
4. 熟悉关系型数据库MySQL、Oracle和SQL语言;
5、能对Spark、Kafka、Kudu、Impala进行故障排除和性能调优;
6、熟悉Java、Scala语言和Linux脚本,对Scala、JVM原理和底层技术有深入研究者优先;
7、有MLlib数据挖掘开发经验者优先。
公司介绍
公司官网:****************
公司微信公众号:TetNetwork
关于我们:
上海态特网络科技有限公司是一家专注于IT 服务领域的高科技企业,致力于向全球客户提供UI/UX设计开发、智能终端与物联网软硬件研发测试、软件开发和实施、测试与质量保障、电商平台开发、大数据与云计算、BI商业智能系统开发、人工智能系统开发等专业服务。
使命:成为令人尊敬的智能硬件与互联网科技服务公司
愿景:提升客户运营效率,让客户更专注于自身创新与业务市场开拓,快速超越其竞争对手并保持其行业领先地位
价值观:客户服务、员工发展、超越所有企业的正直与诚信、狼性的团队、持续的专业与高效
公司微信公众号:TetNetwork
关于我们:
上海态特网络科技有限公司是一家专注于IT 服务领域的高科技企业,致力于向全球客户提供UI/UX设计开发、智能终端与物联网软硬件研发测试、软件开发和实施、测试与质量保障、电商平台开发、大数据与云计算、BI商业智能系统开发、人工智能系统开发等专业服务。
使命:成为令人尊敬的智能硬件与互联网科技服务公司
愿景:提升客户运营效率,让客户更专注于自身创新与业务市场开拓,快速超越其竞争对手并保持其行业领先地位
价值观:客户服务、员工发展、超越所有企业的正直与诚信、狼性的团队、持续的专业与高效
联系方式
- 公司地址:艾来博生命科学(上海)有限公司