武汉 [切换城市] 武汉招聘

大数据开发工程师

上海态特网络科技有限公司

  • 公司规模:50-150人
  • 公司性质:合资
  • 公司行业:互联网/电子商务

职位信息

  • 发布日期:2020-09-06
  • 工作地点:上海-闵行区
  • 招聘人数:2人
  • 工作经验:5-7年经验
  • 学历要求:本科
  • 职位月薪:1.6-2.6万/月
  • 职位类别:Hadoop工程师  大数据开发工程师

职位描述


岗位职责:

1、负责搭建Hadoop/Spark/Kudu/Impala/Flume/Kafka大数据平台, 基于Spark/Kudu为核心技术构建航空物流的数据中台和实时大数据系统;

2、基于Spark技术的大数据离线、实时开发和运维;

3、根据相关业务需求和产品设计使用Spark SQL、Spark Streaming技术进行数仓建模、ETL开发、实时流计算和数据挖掘等工作;

4、负责基于Spark MLlib进行机器学习的建模和开发,实现大数据的深度挖掘和应用。

岗位要求:

1、本科以上学历,熟悉CM/CDH平台搭建、Hadoop、Spark、Flume、Kafka、Kudu、Impala相关技术,至少有两年Spark开发经验;

2、熟悉Spark SQL和SparkStreaming实时开发;

3、熟悉数据仓库建模和ETL开发,熟悉Azkaban或AirFlow调度工具;

4. 熟悉关系型数据库MySQL、Oracle和SQL语言;

5、能对Spark、Kafka、Kudu、Impala进行故障排除和性能调优;

6、熟悉Java、Scala语言和Linux脚本,对Scala、JVM原理和底层技术有深入研究者优先;

7、有MLlib数据挖掘开发经验者优先。


公司介绍

公司官网:****************
公司微信公众号:TetNetwork


关于我们:

上海态特网络科技有限公司是一家专注于IT 服务领域的高科技企业,致力于向全球客户提供UI/UX设计开发、智能终端与物联网软硬件研发测试、软件开发和实施、测试与质量保障、电商平台开发、大数据与云计算、BI商业智能系统开发、人工智能系统开发等专业服务。


使命:成为令人尊敬的智能硬件与互联网科技服务公司
愿景:提升客户运营效率,让客户更专注于自身创新与业务市场开拓,快速超越其竞争对手并保持其行业领先地位
价值观:客户服务、员工发展、超越所有企业的正直与诚信、狼性的团队、持续的专业与高效

联系方式

  • 公司地址:艾来博生命科学(上海)有限公司