重庆 [切换城市] 重庆招聘重庆计算机软件招聘重庆高级软件工程师招聘

大数据架构工程师

上海聚胜万合广告有限公司

  • 公司规模:150-500人
  • 公司行业:互联网/电子商务

职位信息

  • 发布日期:2015-02-04
  • 工作地点:上海-闸北区
  • 招聘人数:1
  • 学历要求:本科
  • 职位月薪:面议
  • 职位类别:互联网软件开发工程师  高级软件工程师

职位描述

职位描述:
负责500+以上Hadoop、HBase、Spark、Storm、Kafka集群的可靠性
负责基于Yarn资源调度服务框架的数据处理服务的优化与运维工具开发
负责开发和优化基于Hive和Spark SQL的数据仓库服务
职位要求:
掌握基本的计算机科学知识,包括算法与数据结构,操作系统与网络知识等;
熟悉Nutch, Lucene, Mina, Thrift 或者类似功能的框架之一;
熟悉Java/Scala等一、二种适用于开发并行服务的语言,並可以独立开发集群所需要的工具、框架、API或其它服务程序;
熟悉Hadoop和相關ecosystem的HBase/Hive/Yarn/Spark的呔S,並且有足够保障的經驗;
价值和挑战:
目前我们已经有500+物理Server服务于大数据平台和相关的ETL数据处理框架,正在把一些服务迁移到YARN平台调度,我们希望把相关的服务都陆续迁移到统一的平台上调度。
数PB的size和每天上百亿条数据服务于精准广告业务的各个业务模块,Machine learning和Business intelligence以及相关的实时广告服务都会深度依赖我们的数据平台,我们严重关注系统的效率、价值和可靠性。

公司介绍

聚胜万合(MediaV)创建于2009年初,并在当年获得美国光速创投基金的首轮融资。公司聚合了业界优秀的互联网技术专家、广告营销专家和互动创意专家,是拥有全面数字营销代理能力和领先数字广告技术的服务机构。创立至今为超过250个品牌提供了超过43亿的数字广告投放服务。主要服务的客户类别有汽车、电子、快消、金融、航空、电商。2014年,MediaV作为创始盟员并入中国A股数字营销***股利欧股份(002131)。

联系方式

  • 公司地址:安家楼路50号A6座