上海招聘大数据工程师

大数据工程师

工作职责:

1、基于hadoop/spark平台架构设计及开发工作；

2、大数据平台的框架设计及核心代码编写；

3、基于spark Streaming流式计算的设计及开发；

4、对海量数据进行收集、存储、管理、分析、建模；

5、对海量用户数据进行统计分析挖掘，不断提升系统系统运行效率；

6、负责大数据平台的监控及优化，针对持续增长的数据提供相应的解决方案。

任职资格:

1、四年以上开发经验，两年以上大数据开发经验；

2、扎实的Java/Scala或Python语言基础，可开发高效可利用的代码，了解虚拟机性能优化策略，熟练代码管理工具；

3、具有丰富的Spark开发经验；

4、熟练使用Hive/Impala/Hbase/Kafka/Flume等大数据相关组件,对分布式储存计算有较深入了解；

5、熟练编写Shell，SQL,具有SQL优化能力；

6、严密的数学思维、突出的分析和归纳能力、优秀的沟通表达能力。

上海脉源企业管理咨询有限公司是一家专注于企业战略咨询和人力资源管理咨询的服务提供商。为各行各业的客户提供专业服务和业务解决方案，包括企业内部分析以及诊断、组织咨询、投资咨询、财务咨询以及人力资源战略规划咨询等。