大数据资深工程师-上海
上汽通用汽车有限公司
- 公司规模:500-1000人
- 公司性质:合资
- 公司行业:汽车
职位信息
- 发布日期:2019-01-30
- 工作地点:上海-浦东新区
- 招聘人数:1人
- 工作经验:无工作经验
- 学历要求:招1人
- 语言要求:不限
- 职位月薪:1-1.5万/月
- 职位类别:大数据开发/分析
职位描述
工作职责:
大数据平台方向
- 负责公司大数据应用架构设计, 大数据产品原型,完成需求分析,技术选型,规划实施工作
- 研究大数据平台新技术研究和评估, 完善大数据平台技术架构规划,负责基于Hadoop/Spark/Hive/Storm/kafka等分布式计算平台实现离线分析、实时分析的计算框架;
- 负责管理大数据开发团队,完成产品的开发、测试、版本管理,评审发布,代码质量管理, 产品上线等相关工作
- 负责与内部系统负责人、外部合作伙伴制定内/外部数据接口方案,并对内/外部数据进行梳理,整合,建模和处理
Java 开发方向
- 支持大数据相关项目或工作项,基于业务需求,对项目技术方案进行设计,并负责代码实现以及部署上线
- 对SGM各领域相关数据进行梳理、分析,识别潜在问题及其商业价值
- 负责大数据平台工具的开发,支持大数据平台数据工程开发标准化,提升项目交付效率和质量
- 内外部相关数据接入Data Lake
- 负责大数据平台技术组件的验证工作
数据处理方向
- 支持大数据相关项目或工作项,基于业务需求,进行数据处理方案设计、模型设计以及ETL程序开发
- 对SGM各领域相关数据进行梳理、分析,满足业务使用数据的需求
- 负责数据处理开发资源池的工作任务安排
- 负责大数据平台新的数据处理技术的验证工作
任职资格:
- 学历要求:全日制本科或以上学历
- 专业要求:计算机科学、计算机应用、软件工程等
- 专业知识:
大数据平台方向
(1)熟练运用Hadoop生态系统组件(MR、HBase、Hive、ZooKeeper、Spark SQL、Spark Mlib、Flume、Kafka、Solr等)
(2)熟悉NoSQL数据库,如MongoDB、Redis等
(3)有2年以上hadoop、Spark管理、调优经验,能够独立完成Hadoop集群部署、升级工作
(4)2年以上JAVA开发经验,熟悉Scala、Python语言者优先
(5)熟悉Spark框架,熟练掌握RDD编程
(6)对新技术有孜孜不倦的热情
(7)有高可用服务部署和负载均衡服务部署经验者优先考虑
(8)2年以上大数据平台管理、架构设计相关经验者优先
Java 开发方向
(1)能够熟练基于Hadoop生态系统组件(Hbase、HDFS、SPARK、Kafka、Solr等)进行数据应用开发
(2)熟悉NoSQL数据库开发,如MongoDB、Redis等
(3)良好的SQL语句功底,熟悉MySQL、PostgreSQL、Oracle数据库中的一种
(4)熟悉负载均衡、读写分离、SOA架构、系统性能调优等技术
(5)3年以上Java开发经验,具有Cloudera Apache Hadoop开发认证或管理员认证者优先
数据处理方向
(1)熟练使用DataStage、Informatica、Kettle、Hive、PLSQL、SPARK、MapReduce等工具中的一个或多个,有开发、维护经验;
(2)熟练编写存储过程,擅长SQL优化;
(3)熟悉Oracle、SQL Server等常用数据库中的一个或多个;
(4)熟悉perl、shell脚本,Linux操作系统;
(5)有大型数据仓库、BI相关项目的开发经验,精通架构、建模者优先;
(6)熟练使用Erwin或PowerDesigner等进行数据建模;
(7)3年以上ETL开发经验,具有Cloudera或ETL相关认证者优先
4.英语能力:具备一定的英语读写能力,能阅读英文资料、能进行口头交流、CET-6
5.其他技能:良好的沟通表达能力、优秀的学习能力
6.素质能力:基础项:以客户为中心、安全和环保 、诚信正直、充分授权的团队合作、不断改进和创新;管理能力:培养他人、全局协同 、果断决策 、战略思维;业务素质:沟通能力、抗压能力、责任心、创新能力、目标意识
职能类别: 大数据开发/分析
公司介绍
2008年,上汽通用汽车启动“绿动未来”全方位绿色战略,以“发展绿色产品、打造绿色体系、承揽绿色责任”为核心,从消费者需求出发,不断创新绿色及智能汽车科技,大力发展“更性能、更节能、更智能、更环保”的绿色产品;并积极发挥业务链龙头作用,带动上下游共创绿色产业生态系统,以实现企业自身、企业与行业、企业与环境的和谐永续发展。
上汽通用汽车网址:***************
联系方式
- 公司网站:***************
:
1.
2..
3.
4.
5.
:
12~3
2
3
4
- 公司地址:申江路1500号