数据抓取爬虫工程师
滴滴出行
- 公司规模:5000-10000人
- 公司性质:外资(非欧美)
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2017-11-10
- 工作地点:北京-海淀区
- 工作经验:1年经验
- 学历要求:本科
- 职位月薪:2-4万/月
- 职位类别:算法工程师
职位描述
职位描述:
岗位职责
1、负责构建垂直类爬虫架构,智能抓取系统设计与研发(如抓取调度,多样化抓取,页面解析和结构化抽取,海量数据存储和读取等)
2、负责爬虫核心算法的策略优化研究,提升爬虫抓取效率和质量(如调权调度、分析预测、质量判断、封禁与反封禁研究等)
3、负责HTTP、AJAX等各类网络请求分析,探索和研究高效的数据抓取解决方案
任职资格:
1、本科及以上学历,良好的代码能力,扎实的数据结构和算法功底,有快速迭代、逐步优化的工程项目经验
2、有良好逻辑思维能力、沟通能力、团队合作精神、学习能力,抗压能力,对挑战性问题充满激情
3、熟悉linux和Java开发,熟悉shell/perl/python等脚本语言,熟练掌握正则表达式
4、有多线程、网络数据处理经验优先(如HTTP协议,AJAX,爬虫开发,浏览器内核开发,Web服务开发等)
5、有大规模分布式海量数据处理经验优先(如Hadoop/Hbase/Spark/Strom/Flink等)
岗位职责
1、负责构建垂直类爬虫架构,智能抓取系统设计与研发(如抓取调度,多样化抓取,页面解析和结构化抽取,海量数据存储和读取等)
2、负责爬虫核心算法的策略优化研究,提升爬虫抓取效率和质量(如调权调度、分析预测、质量判断、封禁与反封禁研究等)
3、负责HTTP、AJAX等各类网络请求分析,探索和研究高效的数据抓取解决方案
任职资格:
1、本科及以上学历,良好的代码能力,扎实的数据结构和算法功底,有快速迭代、逐步优化的工程项目经验
2、有良好逻辑思维能力、沟通能力、团队合作精神、学习能力,抗压能力,对挑战性问题充满激情
3、熟悉linux和Java开发,熟悉shell/perl/python等脚本语言,熟练掌握正则表达式
4、有多线程、网络数据处理经验优先(如HTTP协议,AJAX,爬虫开发,浏览器内核开发,Web服务开发等)
5、有大规模分布式海量数据处理经验优先(如Hadoop/Hbase/Spark/Strom/Flink等)
职能类别: 算法工程师
公司介绍
关于我们
滴滴出行是卓越的一站式移动出行平台;为5.5亿用户提供出租车、快车、专车、豪华车、公交、代驾、企业级、共享单车、共享电单车、共享汽车、外卖等多元化的出行和运输服务。在滴滴平台,超过3100万车主及司机获得灵活的工作和收入机会。
滴滴出行与监管部门、出租车行业及社群积极协作,致力于以智慧交通创新解决全球交通、环保和就业挑战。滴滴也和汽车产业链企业建立广泛的合作,携手打造面向未来的汽车运营服务平台。
在全球范围内,滴滴与Grab、Lyft、Ola、99、Taxify、Careem构建的移动出行网络触达全球超过80%的人口、覆盖1000多座城市。目前,滴滴通过旗下99平台服务巴西,在墨西哥和澳洲提供滴滴品牌的出行业务;并在日本通过合资公司提供网约出租车服务。滴滴始终致力于提升用户体验,创造社会价值,建设安全、开放、可持续的移动出行新生态。
公司地址:北京市海淀区东北旺西路8号院尚东数字山谷B区1号楼
公司主页:http://www.didiglobal.com
公司招聘主页:http://talent.didiglobal.com
滴滴出行是卓越的一站式移动出行平台;为5.5亿用户提供出租车、快车、专车、豪华车、公交、代驾、企业级、共享单车、共享电单车、共享汽车、外卖等多元化的出行和运输服务。在滴滴平台,超过3100万车主及司机获得灵活的工作和收入机会。
滴滴出行与监管部门、出租车行业及社群积极协作,致力于以智慧交通创新解决全球交通、环保和就业挑战。滴滴也和汽车产业链企业建立广泛的合作,携手打造面向未来的汽车运营服务平台。
在全球范围内,滴滴与Grab、Lyft、Ola、99、Taxify、Careem构建的移动出行网络触达全球超过80%的人口、覆盖1000多座城市。目前,滴滴通过旗下99平台服务巴西,在墨西哥和澳洲提供滴滴品牌的出行业务;并在日本通过合资公司提供网约出租车服务。滴滴始终致力于提升用户体验,创造社会价值,建设安全、开放、可持续的移动出行新生态。
公司地址:北京市海淀区东北旺西路8号院尚东数字山谷B区1号楼
公司主页:http://www.didiglobal.com
公司招聘主页:http://talent.didiglobal.com
联系方式
- Email:i@didichuxing.com
- 公司地址:地址:北京市海淀区东北旺西路8号院尚东数字山谷B区1号楼