上海招聘

1、负责指定网站、APP等数据爬取，第三方数据对接，并按规定入库；

2、与技术团队进行沟通，负责爬虫数据与业务系统的整合对接；

3、对互联网海量数据进行整合、分析挖掘开发Web展示系统。

任职资格:

1、一年以上爬虫或解析相关开发经验;

2、有实现过规模文本、图片、视频抓取、抽取、去重、分类、垃圾过滤、质量识别、解析入库等；

3、参与过APP采集，包括APP模拟器、抓包工具，中间代理二次开发等；

4、具有良好的沟通协调能力、团队合作精神；

5、有强烈的责任心、勤奋好学、热爱技术；

加分项：

1、做过论坛、微博、微信类型相关爬虫；

2、有ELK使用经验。

微信分享