深圳招聘

任职要求：

1、3年以上Linux环境Java/Python开发经验，至少2年以上爬虫系统开发经验；

2、使用技术框架包括但不限于：Nutch，WebCollector，Scrapy，Selenium

3、熟练使用正则表达式、xpath解析数据、搜索策略、算法、数据聚类、重组技术，熟悉反爬虫；

4、有过海量代理IP池建设，复杂验证码识别，熟练掌握安卓反编译经验优先

5、熟悉抓包工具(Wireshark,Fillder等)，熟悉网络通信编程，网页抓取原理及技术，熟悉HTTP传输协议，能模拟各类操作爬虫；熟悉爬虫实现原理机制；对分布式和多线程技术有一定了解；

6、有Amazon、eBay等电商数据爬虫优先；

7、熟练掌握分布式爬虫，日采集量千万级别以上，并充分了解抓取策略(1、深度优先遍历策略 2、宽度优先遍历策略 3、反向链接数策略等)；

8、有较强的学习能力，对技术有钻研精神，热衷于新技术的学习和实践；

9、工作严谨，积极主动，能承担工作压力；

岗位职责：

1、负责数据爬虫，大数据处理；

2、负责软件的设计及文档编写；

3、负责软件模块的编码及单元测试；

4、能够编写爬虫工具

公司经营范围包括：互联网数据服务，互联网平台服务，互联网安全服务，计算机信息科技领域内的技术开发、技术服务、技术转让，软件开发、销售，信息系统集成服务，物联网技术服务，电子商务，企业管理信息咨询，设计、制作、代理、发布国内广告，贸易代理，市场营销策划服务，婚庆礼仪服务，摄影服务，动漫及衍生产品设计服务，旅游信息咨询服务，代订机票、酒店、车船票；电信代理业务等