ODPS框架研发工程师(北京)(职位编号:JI002086)
淘宝(中国)软件有限公司
- 公司规模:5000-10000人
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2013-10-15
- 工作地点:北京
- 招聘人数:若干
- 职位类别:互联网软件开发工程师
职位描述
岗位描述:
ODPS(Open Data Processing Service)是一套分布式海量数据处理服务,其主要包括2大块:
1. 各种Task:SqlTask(用户可以提交Sql实现业务逻辑)、MRTask(用户可以提交Java MapReduce 实现业务逻辑)、DTTask(可以在不同数据源(ODPS、Pangu、HDFS、Oralce、Mysql等)之间搬迁数据,在搬迁的过程中因采用Fuxi job而大大提高性能)等
2. ODPS框架:抽象了一套核心对象模型(Project、Resource、Table、Job、Task、Registration、Notification等),负责把各种Task按RESTFul API方式提供服务,框架实现安全、持久化、调度、流控、Failover等,让Task只关注自己的逻辑。为了用户使用方便,框架还提供SDK/Console。为了让ODPS可管理、可运维,ODPS框架还会有一个基于web的Admin Console。
ODPS 框架研发工程师主要参与上面第2块的研发,如果你想知道大数据在ODPS平台上如何计算,如果你想知道数据如何服务商业,如果你不想错过大数据时代,想到不如做到,快联系我们吧!
岗位要求:
1. 精通C++或者Java,有Linux下丰富的开发经验,精通性能调优;
2. 对分布式计算有一定的研究,并有丰富的相关开发经验;
3. 具备良好的研发习惯(比如:UT、FT、Code Review等);
4. 钻研精神, 对技术工作充满热情和团队精神,愿意投身大数据事业。
更多职位信息,请前往:http://www.aliway.com/read.php?fid=38&tid=167151&page=e
更详尽的团队介绍,请前往:http://www.alidata.org/
ODPS(Open Data Processing Service)是一套分布式海量数据处理服务,其主要包括2大块:
1. 各种Task:SqlTask(用户可以提交Sql实现业务逻辑)、MRTask(用户可以提交Java MapReduce 实现业务逻辑)、DTTask(可以在不同数据源(ODPS、Pangu、HDFS、Oralce、Mysql等)之间搬迁数据,在搬迁的过程中因采用Fuxi job而大大提高性能)等
2. ODPS框架:抽象了一套核心对象模型(Project、Resource、Table、Job、Task、Registration、Notification等),负责把各种Task按RESTFul API方式提供服务,框架实现安全、持久化、调度、流控、Failover等,让Task只关注自己的逻辑。为了用户使用方便,框架还提供SDK/Console。为了让ODPS可管理、可运维,ODPS框架还会有一个基于web的Admin Console。
ODPS 框架研发工程师主要参与上面第2块的研发,如果你想知道大数据在ODPS平台上如何计算,如果你想知道数据如何服务商业,如果你不想错过大数据时代,想到不如做到,快联系我们吧!
岗位要求:
1. 精通C++或者Java,有Linux下丰富的开发经验,精通性能调优;
2. 对分布式计算有一定的研究,并有丰富的相关开发经验;
3. 具备良好的研发习惯(比如:UT、FT、Code Review等);
4. 钻研精神, 对技术工作充满热情和团队精神,愿意投身大数据事业。
更多职位信息,请前往:http://www.aliway.com/read.php?fid=38&tid=167151&page=e
更详尽的团队介绍,请前往:http://www.alidata.org/
公司介绍
该公司尚未添加公司介绍
联系方式
- 公司地址:地址:span文一西路969号
- 电话:18612531658