苏州招聘数据采集工程师

数据采集工程师

职位描述：
岗位职责：

参与爬虫核心系统架构设计、数据库设计；

负责网络爬虫的核心技术研究与开发；

设计爬虫策略和防屏蔽规则，提升网页抓取的质量与效率；

分析爬虫系统的技术缺陷，对策略架构做出合理的调整与改进；

技能要求：

1年以上java、python或C/C++的开发经验，熟悉常用的信息抓取策略和数据重组方法；

精通信息抓取和信息整合技术，从结构化和费结构化的数据中获取信息，掌握正则表达式；

熟悉大规模网页爬取，深度网页爬取，熟悉nutch、scrapy。lucene、heritrix、solr、sphinx等工具优先考虑；

熟悉html、xml网页标记语言，熟悉基于网页cookie的网站登录原理、熟悉基于正则表达式、xpath、css等网页信息抽取技术，熟悉js、ajax、网页消重；

熟悉mysql数据库，了解redis、mongodb、hbase、hive等nosql数据库；

2年以上爬虫开发经验，有分布式爬虫架构经验优先。

职能类别：数据库工程师/管理员计算机辅助设计工程师

举报分享

我们致力于为顾客提供计算机网络技术开发、计算机信息技术服务；计算机软硬件的开发、设计、销售、维护，并提供技术咨询、技术转让、技术服务；网站建设与维护；知识产权代理服务、企业管理咨询、市场营销策划、市场调查、法律信息咨询（不含诉讼代理业务）、财务信息咨询、经济信息咨询、房产经纪；汽车租赁。