深圳招聘

岗位职责:

1.负责大数据平台/推荐系统/等产品的架构、研发和持续优化

2.和业务团队深入合作，解决在业务发展中遇到的产品和平台架构问题；具备一定的前瞻性；

3.具体领域包括但不限于推荐算法开发、分布式存储、大规模分布式计算、实时计算、跨平台资源调度、大规模分布式算法平台等；

4.负责搭建效果监控平台，数据质量监控平台，数据中心建设，算法模型平台化建设；

5.基于Hadoop生态圈进行扩展研发，构建统一的Data Infrastructure，在开源的基础上研发统一支持Batch和Streaming的计算引擎，SQL、NoSQL、Queue和Cache等分布式存储系统，以及自动化运维平台管理超大规模集群。

6. 根据公司的搜索和推荐业务需求，基于上述DataInfrastructure，开发海量数据处理和机器学习流程，为搜索和推荐引擎输送实时数据更新，直接影响在线排序，提升成交转化。 

任职资格:

1.3年以上，对Linux操作系统熟练掌握，熟悉shell脚本编程；计算机及相关专业本科以上学历。

2.深入理解 Hadoop/Hive/Oracle 等数据管理系统的原理、运维、性能调优方法；

3.深刻理解hadoop相关技术的原理和开发方法，熟练hadoop平台的搭建部署、调优、故障诊断、运行维护的方法和工具；

4.精通storm及其开发

5.熟练掌握Map/Reduce、HBASE、HIVE、PIG、Mahout中两种以上开发技术，并有实际产品的上线应用；

5.对集群有着深刻的了解，能深入的了解hadoop集群及其周边常用各个模块；

6.搭建维护hadoop集群并进行必要的troubleshooting, 保障系统正常运行；

7.能利用集群实现对数据的分析和处理。

微信分享