大数据开发工程师
北京梧桐车联科技有限责任公司
- 公司性质:民营公司
- 公司行业:汽车及零配件
职位信息
- 发布日期:2019-06-13
- 工作地点:北京-海淀区
- 招聘人数:2人
- 工作经验:5-7年经验
- 学历要求:本科
- 职位月薪:25-45万/年
- 职位类别:大数据开发/分析 高级软件工程师
职位描述
岗位职责
1.承担建设基于Hadoop/Hbase/Spark生态的大数据离线/实时处理平台;
2.负责公司大数据集群的构建、运维、开发工作,确保高可用;
3.负责集群容量规划、扩容及集群性能优化,参与大数据基础环境的架构设计与改进;
4.参与业务数据、生产日志的抽取、转储、检索等相关工作;
5.负责数据仓库和大数据处理模块的架构设计和开发;
6.负责海量数据实时处理、分析工作;
7.跟进大数据前沿技术的发展,将合适的技术方案适时引入业务场景。
岗位要求
1.,5年以上工作经验,统招本科及以上学历,扎实的计算机基础,熟悉常用的数据结构和算法,熟悉Linux系统环境;
2.精通Java/Scala/Python/Perl/Shell等大数据领域常用开发语言的一种或多种;
3.熟悉大数据技术栈,对关系型数据库,以及Hadoop、Hive、Spark、Hbase,ELK,CDH ,ES等有实际项目开发经验;
4.了解相关数据处理框架或工具,例如Storm、Spark/Spark Streaming/Spark MLib、Flink、Azkaban、Flume等一种或几种;
5.具备数据仓库及实时计算业务的设计和实现经验;有用户画像经验者优先;
6.具备数据建模(机器学习,数据挖掘,信息检索等)相关经验;
7.了解常用算法,掌握算法工具,包括但不限于:K-means聚类、LDA.神经网络、欧式距离、SVM.过/欠合等;有深度学习经验者优先;
8. 在开源社群活跃并有积极贡献者优先。
公司介绍
北京梧桐车联科技有限责任公司成立于2018年,由腾讯云与智慧产业事业群孵化,专注于汽车智能网联领域的产品研发与服务,致力于为汽车全行业提供全面的智慧出行系统解决方案。梧桐在应用腾讯优质资源的同时聚合车联网头部人才,全价值链助力车企产品体验升级和数字化转型。