北京招聘

说明：此岗位后期根据公司安排外派至江苏地区！

岗位职责：

1、根据公司业务需要，对指定网站进行数据爬取；

2、负责设计和开发分布式爬虫系统，可以实现高并发、分布式多平台抓取和分析，能独立解决实际开发过程碰到的各类问题；

3、负责设计爬虫策略和防屏蔽规则，提升网络抓取效率和质量；

4、负责网页信息抽取、数据清洗、数据入库等研发和优化工作，负责爬虫系统的监控与异常警报；

5、负责以区块链为主的各种数据分析与标注工作；

任职资格：

1、大学本科及以上学历，计算机相关专业，基础扎实；

2、Python开发工作经验3年以上，熟悉Python常用函数库和包；

3、熟悉分布式爬虫框架，有设计开发分布式网络爬虫系统经验，有海量数据爬取及处理经验；

4、精通爬虫和反爬技术，精通http协议；精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术；

5、熟悉MySql、Redis、MongoDB等数据库，熟悉Linux系统、mq等消息队列；

6、熟悉网页抓取原理及技术，熟练掌握正则表达式、XPath等网页信息抽取技术；

7、熟悉HTML、CSS、JS等前端技术，熟悉HTTP传输协议；

8、熟悉hadoop系统，有大数据相关工作经验，熟悉分布式计算、分布式存储等技术；

9、具有良好的逻辑推理能力及数据敏感度，善于快速学习及应用，善于沟通；

10、熟练操作Excel及各项函数工具，对区块链技术或者数字货币有一定的基础知识与认知的优先；

微信分享