大数据架构师 (职位编号：002738)
深圳市环球易购电子商务有限公司
- 公司性质：民营公司
- 公司行业：互联网/电子商务
职位信息
- 发布日期：2019-02-20
- 工作地点：深圳-南山区
- 招聘人数：1人
- 工作经验：无工作经验
- 学历要求：本科
- 职位月薪：3-6万/月
- 职位类别：高级软件工程师
职位描述
1、负责大数据平台/推荐系统/等产品的架构、研发和持续优化
2、和业务团队深入合作，解决在业务发展中遇到的产品和平台架构问题；具备一定的前瞻性；
3、具体领域包括但不限于推荐算法开发、分布式存储、大规模分布式计算、实时计算、跨平台资源调度、大规模分布式算法平台等；
4、负责搭建效果监控平台，数据质量监控平台，数据中心建设，算法模型平台化建设；
5、基于Hadoop生态圈进行扩展研发，构建统一的Data Infrastructure，在开源的基础上研发统一支持Batch和Streaming的计算引擎，SQL、NoSQL、Queue和Cache等分布式存储系统，以及自动化运维平台管理超大规模集群。
6、根据公司的搜索和推荐业务需求，基于上述Data Infrastructure，开发海量电商数据处理和机器学习流程，为搜索和推荐引擎输送实时数据更新，直接影响在线排序，提升成交转化。
任职资格:
1、对Linux操作系统熟练掌握，熟悉shell脚本编程；
2、深入理解 Hadoop/Hive等数据管理系统的原理、运维、性能调优方法；
3、深刻理解hadoop相关技术的原理和开发方法，熟练hadoop平台的搭建部署、调优、故障诊断、运行维护的方法和工具；
4、精通storm及其开发 5.熟练掌握Map/Reduce、HBASE、HIVE、PIG、Mahout中两种以上开发技术，并有实际产品的上线应用；
5、对集群有着深刻的了解，能深入的了解hadoop集群及其周边常用各个模块；
6、搭建维护hadoop集群并进行必要的troubleshooting, 保障系统正常运行；
7、能利用集群实现对数据的分析和处理
职能类别： 高级软件工程师