大连招聘

工作职责:

1、完成对复杂网站的数据抓取和交互模拟；

2、通过各种渠道或方式对相关网站进行抓取；

3、不断完善并维护相关网站的抓取，使之稳定运行，核心逻辑必须有单元测试；

4、善于灵活运用各种非爬虫技术解决爬虫相关问题；

5、随时响应并解决突发问题；

任职资格:

1、五年以上网站抓取经验，有电商网站、舆情相关抓取经验；

2、有较强的网站分析能力，熟知各种反爬措施及相关解决办法

3、熟练使用eventlet、gevent、requests、selenium等技术实现高并发稳定抓取；

4、熟练使用消息队列（MQ）、celery等异步框架实现分布式任务处理；

5、熟知HTTP、TCP、Socket等底层知识；

6、熟练掌握Fiddler、Http debugger等抓捕工具；

7、熟悉WebMagic、adsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpClient、分词、分布式爬虫调度、数据质量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场、反爬；

8、熟悉MySQL、MongoDB基本使用；

9、熟悉python Scapy，熟悉Java"script"，有一定的分析能力；

微信分享