深圳招聘

任职资格：

1、2年以上的爬虫经验，有扎实的算法和数据结构能力具备强悍的编码能力；

2、熟悉爬虫原理，熟悉常见的反爬虫技术，有爬虫相关项目开发经验者优先；

3、熟悉tcp，http协议原理；熟悉ajax工作原理；精通Python编程，至少熟悉一种开源爬虫框架和源码；

4、掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术；

5、熟悉html标签，html模块解析、拆分、样式还原等；

6、熟悉html样式，js脚本，js渲染。 备注：本岗位需要对html分模块解析，根据url实时解析文章内容并返回，需具备模块拆解、网页解析后样式还原等能力。

岗位职责：

1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作；

2、负责网页信息和APP数据抽取、清洗、消重等工作，提升平台的抓取效率；

3、实时监控爬虫的进度和警报反馈；

4、抓取策略算法的更新维护，以及确保数据抽取准确、高效；

5、对抓取的网页进行模块分析以及数据抽取还原。

微信分享