大数据开发工程师
上海筑荣商务咨询有限公司
- 公司规模:少于50人
- 公司性质:合资
- 公司行业:专业服务(咨询、人力资源、财会)
职位信息
- 发布日期:2018-12-29
- 工作地点:上海
- 招聘人数:若干人
- 工作经验:5-7年经验
- 学历要求:大专
- 职位月薪:3-4万/月
- 职位类别:互联网软件开发工程师
职位描述
岗位职责:
1. 负责用户行为大数据平台和架构建设;
2. 负责流式数据架构搭建和开发;
3. 管理、优化并维护Hadoop、Spark等集群,保证集群规模持续、稳定;
4. 构建数据管理平台,用于存储、计算、分析、挖掘用户行为、用户交易等日志数据处理和分析;
5. 负责数据建模以及数据仓库应用产品的设计和开发;
6. 数据挖掘和机器学习算法相关产品的落地和维护。
任职资格:
1. 大专及以上学历,计算机或者数学等相关专业;
2. 3到4年以上企业级数据仓库开发经验,3年以上大数据开发经验,熟悉数据仓库理论,具备复杂业务需求梳理能力;
3. 熟悉linux/UNIX shell、熟悉(Perl/python/shell)任意一种脚本语言;
4. 精通Java应用系统技术栈,包括网络架构,服务器,中间件,DB,缓存,存储解决方案,线上运维等;
5. 深入理解大数据处理体系架构,熟悉hadoop/storm/spark/hive等常用开源技术体系,具备复杂项目的实施落地能力;
6. 熟悉hadoop生态圈,可独立搭建hadoop平台,具备hadoop组件调经验;
7. 企业级数据仓库(EDW)/BI系统的建设经验,有海量数据建模实践经验;
8. 对数据敏感、对新技术敏感,具有良好的系统分析、架构设计能力。
公司介绍
公司主营咨询,如人力资源咨询、财务咨询、供应链咨询、设计、会展等业务