大数据开发工程师
山东伏羲智库互联网研究院
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:学术/科研
职位信息
- 发布日期:2019-11-22
- 工作地点:北京-海淀区
- 招聘人数:若干人
- 工作经验:5-7年经验
- 学历要求:本科
- 职位月薪:2-4万/月
- 职位类别:大数据开发/分析
职位描述
一、职位描述:
1.负责公司大数据技术平台的搭建,包括参与架构设计、研发交付以及数据仓库的研发;
2.从事基于Hadoop、Spark、Hive、Hbase、Flink、Zookeeper、ElasticSearch等大数据技术的分布式大数据平台产品的设计和开发;
3.负责大数据平台数据产品的数据采集、ETL系统的设计开发、数据分析、调优及维护工作;
4.负责大数据核心框架的设计和代码编写,开发并解决出现的系统问题,参与大数据技术方案评审;
5.参与大数据平台的日常运营工作,为数据分析和展现提供支持;
6.参与基于大数据平台的创新业务场景进行数据产品的架构设计以及研发交付;
7.负责数据质量、稳定性等数据管理、数据治理工作,构建数据内部共享融通的数据平台,让数据标准更规范、数据获取更高效;
8.及时跟进大数据领域新技术并分享,提升团队技术能力;提出大数据相关产品的设计和维护方案(性能、可用性、安全等方面的优化)。
二、职位要求:
1.计算机相关专业全日制211/985本科以上学历,具有5年以上的大数据平台研发工作经验,作为架构师主导实施过2个以上大数据平台为核心的信息化项目;
2.有丰富的Spark、Hadoop、Flink、kafka、HDFS、Hive、ElasticSearch等开发经验;
3.熟练使用flume、sqoop、kettle、kafka和ElasticSearch等主流的数据整合、信息索引技术和工具;熟悉关系数据库MySQL,熟悉Redis、Hbase、MongoDB等非关系型数据库;
4.深刻理解数据采集、处理和存储的技术要点和架构实现,熟悉数据治理方法论,对数据建模、数据质量、数据资产、元数据管理等有实战经验;
5.熟悉数据仓库的设计和开发,对数据仓库架构有深入的了解和具备相关的项目实践经验,有过大型数仓建设经验;
6.熟悉大数据产品和技术,熟悉ETL的开发和流程优化,对数据采集、数据集成、数据开发、数据分析等大数据领域有实战经验;
7.熟悉大数据管理系统的架构设计(统一管理数据的采集/存储/管理/分析/查询和展现),有成熟设计方案并能快速实现者加分;
8.Java基础扎实,不少于6年的一线开发经验,精通Spring boot/Mybatis/Restful API的开发与管理,熟悉ReactJS/Angular/Vue之一的前端开发技术,熟悉Scala、Python开发加分。
9.熟悉大规模数据挖掘、机器学习、深度学习等相关技术优先,对分类、聚类、决策树等机器学习算法、TensorFlow/Caffe等深度学习框架有实战经验加分。
11.熟悉大规模数据挖掘、机器学习、深度学习等相关技术优先,对分类、聚类、决策树等机器学习算法、TensorFlow/Caffe等深度学习框架有实战经验优先;
公司介绍
联系方式
- 公司地址:地址:span中关村南二条九章大厦B座1层