大数据开发工程师 (职位编号:001963)
上海电气集团数字科技有限公司
- 公司规模:150-500人
- 公司性质:合资
- 公司行业:计算机软件
职位信息
- 发布日期:2018-12-29
- 工作地点:上海
- 招聘人数:1人
- 工作经验:无工作经验
- 学历要求:本科
- 职位月薪:20-50万/年
- 职位类别:数据库工程师/管理员 算法工程师
职位描述
1、负责大数据处理平台的总体技术工作,包括需求分析、架构设计、研发、以及性能分析工作;
2、负责设计、构建和优化基于hadoop/Hbase/Hive的存储平台架构;
3、负责整体提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高扩展特性;
4、根据业务需求,提出最优的技术解决方案;分解详细的开发任务,制定/编写开发计划、开发文档、开发流程图;
5、负责完成数据规则的定义、数据建模、数据清洗及转换、数据治理、数据集成等工作;
6、负责数据架构的规划,并制定实施标准和规范,确保得到有效的执行,同时保障数据以及文档的质量达到预定的标准。
任职资格:
1、本科以上学历,计算机或相关专业;
2、5年以上软件开发经验,精通Java开发,3年以上Hadoop相关开发经验;
3、具备数据库系统基本理论知识,至少掌握一种主流商业数据库产品如Oralce的管理和应用,精通SQL语言,精通存储过程;
4、对hadoop的MapReduce原理有深入研究,有相关项目的实际开发经验;
5、熟悉Hadoop、Hive、impala和Hbase、storm等开源项目;
6、对基于hadoop的大数据处理体系有深入认识,具备相关产品(hadoop/storm /hive/hbase)项目应用研发经验,熟悉分布式系统、分布式计算系统的工作机制,能熟练掌握相关核心技术的工作机理;具有大规模数据平台,高并发大型系统,大数据等架构设计和开发经验;
7、具备数据管理和存储相关项目和系统的开发经验,具有丰富的数据分析、挖掘和数据仓库建模的项目实践经验;
8、具有良好的沟通、组织和领导能力,出色的分析问题和解决问题的能力,对解决具有挑战性问题充满激情,具备强烈的进取心和优秀团队合作精神。
职能类别: 数据库工程师/管理员 算法工程师
公司介绍
公司愿景:成为工业领域领先的数字化平台和解决方案提供商。
公司使命:以“扎根装备制造、实施数字赋能、引领创新转型”为导向,推进装备制造业的数字化、网络化、智能化和绿色化。