大数据架构工程师
上海聚胜万合广告有限公司
- 公司规模:150-500人
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2015-02-04
- 工作地点:上海-闸北区
- 招聘人数:1
- 学历要求:本科
- 职位月薪:面议
- 职位类别:互联网软件开发工程师 高级软件工程师
职位描述
职位描述:
负责500+以上Hadoop、HBase、Spark、Storm、Kafka集群的可靠性
负责基于Yarn资源调度服务框架的数据处理服务的优化与运维工具开发
负责开发和优化基于Hive和Spark SQL的数据仓库服务
职位要求:
掌握基本的计算机科学知识,包括算法与数据结构,操作系统与网络知识等;
熟悉Nutch, Lucene, Mina, Thrift 或者类似功能的框架之一;
熟悉Java/Scala等一、二种适用于开发并行服务的语言,並可以独立开发集群所需要的工具、框架、API或其它服务程序;
熟悉Hadoop和相關ecosystem的HBase/Hive/Yarn/Spark的呔S,並且有足够保障的經驗;
价值和挑战:
目前我们已经有500+物理Server服务于大数据平台和相关的ETL数据处理框架,正在把一些服务迁移到YARN平台调度,我们希望把相关的服务都陆续迁移到统一的平台上调度。
数PB的size和每天上百亿条数据服务于精准广告业务的各个业务模块,Machine learning和Business intelligence以及相关的实时广告服务都会深度依赖我们的数据平台,我们严重关注系统的效率、价值和可靠性。
负责500+以上Hadoop、HBase、Spark、Storm、Kafka集群的可靠性
负责基于Yarn资源调度服务框架的数据处理服务的优化与运维工具开发
负责开发和优化基于Hive和Spark SQL的数据仓库服务
职位要求:
掌握基本的计算机科学知识,包括算法与数据结构,操作系统与网络知识等;
熟悉Nutch, Lucene, Mina, Thrift 或者类似功能的框架之一;
熟悉Java/Scala等一、二种适用于开发并行服务的语言,並可以独立开发集群所需要的工具、框架、API或其它服务程序;
熟悉Hadoop和相關ecosystem的HBase/Hive/Yarn/Spark的呔S,並且有足够保障的經驗;
价值和挑战:
目前我们已经有500+物理Server服务于大数据平台和相关的ETL数据处理框架,正在把一些服务迁移到YARN平台调度,我们希望把相关的服务都陆续迁移到统一的平台上调度。
数PB的size和每天上百亿条数据服务于精准广告业务的各个业务模块,Machine learning和Business intelligence以及相关的实时广告服务都会深度依赖我们的数据平台,我们严重关注系统的效率、价值和可靠性。
公司介绍
聚胜万合(MediaV)创建于2009年初,并在当年获得美国光速创投基金的首轮融资。公司聚合了业界优秀的互联网技术专家、广告营销专家和互动创意专家,是拥有全面数字营销代理能力和领先数字广告技术的服务机构。创立至今为超过250个品牌提供了超过43亿的数字广告投放服务。主要服务的客户类别有汽车、电子、快消、金融、航空、电商。2014年,MediaV作为创始盟员并入中国A股数字营销***股利欧股份(002131)。
联系方式
- 公司地址:安家楼路50号A6座