深圳 [切换城市] 深圳招聘深圳互联网/电子商务/网游招聘深圳互联网软件开发工程师招聘

Hadoop开发运维架构师

上海载和网络科技有限公司

  • 公司规模:150-500人
  • 公司性质:外资(非欧美)
  • 公司行业:互联网/电子商务

职位信息

  • 发布日期:2015-05-16
  • 工作地点:上海
  • 招聘人数:若干
  • 职位月薪:面议
  • 职位类别:互联网软件开发工程师  

职位描述

岗位职责
1、搭建和维护Hadoop集群,保证集群规模持续、稳定地扩容
2、维护Hadoop源码,即时修复集群BUG或者进行源代码优化
3、跟进开源社区Hadoop的功能,及时了解新的特性和功能,并有选择地应用
4、支持数据开发的同事,解决相应的问题,比如及时地查找问题并给出改进的建议
5、开发相关可用于诊断集群健康问题的工具,方便及时地发现各类问题
6、对集群使用进行权限控制,定期培训集群使用方面的经验

任职资格
1、五年以上Java开发经验;三年以上分布式系统架构设计经验
2、2年以上Hadoop源码的开发经验,深刻理解Hadoop运作机制,能快速定位BUG并进行修复
3、了解Hadoop各种文件存储模式,能够利用最小的资源存储更多的数据
4、有Hadoop namenode和jobtracker的优化经验,深入了解nn和jt的工作机制,有能力搭建并维护一个高稳定行、高性能的计算和存储集群
5、能够精确统计集群资源的使用率,能够发现集群瓶颈所在,能够评估后续的集群规模,有一定的硬件知识,能够规划集群所使用的机器和配置
6、熟悉hive/pig/hbase/flume/oozie/zookeeper等基于Hadoop的应用,熟悉各种开源软件技术
7、了解其他nosql技术,充分掌握目前互联网行业使用的各项云计算的技术
8、良好的沟通能力,很强的问题解决能力,很强的风险控制意识
9、熟悉Linux系统,熟悉Shell编程、会Python、Perl、Awk、Sed等脚本语言优先

公司介绍

Gshopper是领先的跨境电商公司
为全球消费者、商家、品牌商服务
在多轮成功融资的基础上,Gshopper逐渐建成了为全球消费者、卖家、品牌商服务的跨境电商公司

专业的本土化团队所具备的全球各个市场的当地采购、销售能力
品牌业务的独特的、能够盈利的市场推广模式
多年积累的科技研发实力和大数据分析能力
优秀的多渠道物流仓储解决方案
让我们在众多跨境公司中脱颖而出

联系方式

  • 公司地址:地址:span金田路2030号-卓越世纪4号楼501