大数据开发工程师
东方微银科技(北京)有限公司
- 公司规模:150-500人
- 公司性质:民营公司
- 公司行业:计算机软件
职位信息
- 发布日期:2019-08-02
- 工作地点:北京
- 招聘人数:1人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1.4-2万/月
- 职位类别:高级软件工程师
职位描述
【岗位职责】
1、负责搭建并维护公司大数据系统,Hadoop集群及HBase/Hive集群生态圈应用开发,设2、计实现可支撑公司业务增长需要的平台延展开发,并优化数据库建设方案;
3、基于大数据平台的需求分析,开发实施,大数据部元数据管理平台开发,大数据后端数据需求分析和运维,日志分析系统开发;
4、负责整体提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高扩展特性;
5、根据业务需求,提出最优的技术解决方案;分解详细的开发任务,能配合其他项目制定开发计划、开发文档、开发流程图;
6、负责完成数据规则的定义、数据模型的建立、数据清洗、数据迁移等工作;
7、负责数据架构的规划,并制定实施标准和规范,确保得到有效的执行,同时保障数据以及文档的质量达到预定的标准。
【任职资格】
1、计算机相关专业;
2、4年以上软件开发经验,精通Java开发,2年以上Hadoop相关开发经验;
3、熟悉 Hadoop 的生态组件,HDFS,YARN,HBase;
4、熟悉 MapReduce,Spark,Spark Streaming,Storm 数据分析引擎至少一种的原理与使用;
5、熟悉 Hive,Impala,HAWQ,Drill,Stinger 数据查询引擎至少一种的原理与使用;
6、熟悉分布式系统、分布式计算系统的工作机制,能熟练掌握相关核心技术的工作机理;具有大规模数据平台,高并发大型系统,大数据等架构设计和开发经验;
7、精通 Java,Python,能够分析与排查组件报错原因与组件的业务逻辑
8、具有良好的沟通、组织和领导能力,优秀的分析问题和解决问题的能力,对解决具有挑战性问题充满激情,具备强烈的进取心和优秀团队合作精神;
9、有 Hadoop 社区开发经验的优先;
10、具有银行行业大数据应用工作经验者优先。
【福利待遇】
1、行业内有竞争力的薪资;
2、全额五险一金;
3、双休,带薪年假,餐补,通讯补,生日礼,定期体检;
4、愉悦的文化氛围,丰富多彩的不定期员工活动。
公司介绍
联系方式
- 公司地址:地址:span高梁桥斜街42号院1号楼融汇国际大厦4层