杭州招聘

1、参与爬虫系统的架构设计与开发, 构建高效稳定的爬虫系统； 
2、 建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善 ; 
3、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 
4、负责网络数据抓取规划和数据链路规划、高效且稳定爬取指定网站的数据； 
5、能独立解决实际开发过程中碰到的各类问题。

1、本科以上学历，计算机或统计相关专业，精通Python／Java语言，同时需要HTTP协议逆向分析经验； 
2、5年以上编写网络爬虫经验，熟悉目前主流的一些爬虫框架，有爬虫和反爬虫，国内外网站爬取经验；
3、熟悉Mysql\redls\mongdb三者至少之一，有过数据库调优和海量数据存储经验有限； 
4、熟悉linux开发环境，具有分布式、多线程/进程的编程经验。
5，有算法经验优先考虑