上海 [切换城市] 上海招聘上海互联网/电子商务/网游招聘上海互联网软件开发工程师招聘

大数据开发工程师

上海筑荣商务咨询有限公司

  • 公司规模:少于50人
  • 公司性质:合资
  • 公司行业:专业服务(咨询、人力资源、财会)

职位信息

  • 发布日期:2018-12-29
  • 工作地点:上海
  • 招聘人数:若干人
  • 工作经验:5-7年经验
  • 学历要求:大专
  • 职位月薪:3-4万/月
  • 职位类别:互联网软件开发工程师  

职位描述

岗位职责:

1.   负责用户行为大数据平台和架构建设;

2.   负责流式数据架构搭建和开发; 

3.   管理、优化并维护HadoopSpark等集群,保证集群规模持续、稳定;

4.   构建数据管理平台,用于存储、计算、分析、挖掘用户行为、用户交易等日志数据处理和分析;

5.   负责数据建模以及数据仓库应用产品的设计和开发;

6.   数据挖掘和机器学习算法相关产品的落地和维护。

任职资格:

1.  大专及以上学历,计算机或者数学等相关专业;

2.  34年以上企业级数据仓库开发经验,3年以上大数据开发经验,熟悉数据仓库理论,具备复杂业务需求梳理能力;

3.  熟悉linux/UNIX shell、熟悉(Perl/python/shell)任意一种脚本语言;

4.  精通Java应用系统技术栈,包括网络架构,服务器,中间件,DB,缓存,存储解决方案,线上运维等;

5.  深入理解大数据处理体系架构,熟悉hadoop/storm/spark/hive等常用开源技术体系,具备复杂项目的实施落地能力;

6.  熟悉hadoop生态圈,可独立搭建hadoop平台,具备hadoop组件调经验;

7.  企业级数据仓库(EDW)/BI系统的建设经验,有海量数据建模实践经验;

8.  对数据敏感、对新技术敏感,具有良好的系统分析、架构设计能力。

公司介绍

公司主营咨询,如人力资源咨询、财务咨询、供应链咨询、设计、会展等业务