上海 [切换城市] 上海招聘上海计算机软件招聘上海软件工程师招聘

大数据开发工程师

上海阅维信息科技有限公司

  • 公司规模:150-500人
  • 公司性质:民营公司
  • 公司行业:通信/电信/网络设备

职位信息

  • 发布日期:2019-07-30
  • 工作地点:上海-静安区
  • 招聘人数:若干人
  • 工作经验:5-7年经验
  • 学历要求:招若干人
  • 语言要求:不限
  • 职位月薪:1.2-2.5万/月
  • 职位类别:软件工程师

职位描述

岗位要求
1、扎实的Java、Scala语言基础,对JVM运行机制有深入了解;
2、有hadoop和spark实际开发经验。了解大数据组件的使用限制和应用场景,如hdfs,yarn,hbase,hive,flume,kafka,zk,ES,Storm等
3、熟悉mysql、ElasticSearch、Redis等关系型或NoSQL数据库,了解应用场景和使用限制。有实际调优经验者更佳。
以下优先考虑:
1、熟悉并行计算或者分布式计算,熟悉Spark框架,熟练掌握RDD,SQL, Streaming, MLLIB编程;
2、有深入研究过Hadoop/Spark源码者优先;
3、深入理解HDFS分布式文件系统架构;熟练掌握Hadoop/Hive/HBASE的运维和调优方法;
4、熟悉linux常用命令,有实际HDP或apache版本的hadoop部署经验者优先;
5、掌握或使用过Storm、Spark、flume、kafka等工具;
6、2-3年以上大数据相关工作经验,最好参与并成功部署过1个日均TB级的集群项目。
职位描述:
1、负责分布式数据采集、清洗等ETL的开发工作,并提供数据采集及质量汇总报告;
2、负责海量业务数据进行分布式计算的开发工作,基于业务需求进行特征处理及标签化过程开发;

职能类别: 软件工程师

公司介绍

阅维科技成立于2011年,以上海总部为中心,在西安、北京、成都、辽宁等地设立了分支机构。公司研发实力雄厚,研发团队占员工总数的近70%,其中近40%为研究生和博士,在智能终端、无线图传、互联网大数据等公共安全领域处于行业领先的地位。总部坐落于上海大学科技园区,长期保持与上海交大、上大、中科院等众多科研院所的紧密合作,提供的行业解决方案及技术已达到国际领先水平,获得50多项国家专利,曾多次参与各种大型活动的安全保障工作,如青奥会、亚信峰会、G20峰会、金砖会议、世博会等等。


联系方式

  • 公司地址:地址:span江场路1228弄10号中环协信天地9层