北京招聘

岗位职责：
1. 参与爬虫系统的架构设计、核心模块(抓取调度，页面解析和结构化抽取，海量数据存储和读取等)开发，改进和提升爬虫效率；
2. 攻破各种反爬策略，快速解决各类技术疑难问题，建设反爬对抗组件库；
3. 完善爬虫的技术指标体系，并基于指标迭代优化爬虫基础能力，指标体系中，全面性指标的建立，基于随机采样，估计系统总体目标信息；
4. 技术难题攻关，解决实际开发过程碰到的各类问题；
任职要求：
1. 计算机或相关专业，本科或以上学历要求，3年以上爬虫开发经验；
2. 精通至少一种开发语言，如Python、Java，熟练掌握至少一种开源爬虫框架，熟练掌握mongo、redis、mq、hadoop等相关技术；
3.对爬虫有浓厚的兴趣，责任感强，有较好的交流沟通能力和团队合作能力。

微信分享