上海招聘

职位描述：
网络爬虫工程师

职位描述
- 参与公司所需的爬虫系统架构设计、数据库设计；
- 负责网络爬虫的核心技术研究和开发，参与各种核心搜索策略、算法、数据聚类、重组的设计与开发；
- 设计策略和算法，提升网页抓取的效率和质量；
- 分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进。
- 能够快速且有效的进行数据清洗语文本挖掘
- 了解HTTP协议和各种Web前端技术(PHP/CSS/HTML/JavaScript/AJAX等)

岗位要求：
- 3年以上Java、python或C/C++开发经验，熟悉常用的信息抓取策略和数据重组算法；
- 精通信息抓取和整合技术，从结构化的和非结构化的数据中获取信息，掌握正则表达式；
- 熟悉大规模网页爬取，深度网页爬取，熟悉Nutch、Scrapy、Lucene、Heritrix、Solr、Sphinx等工具优先考虑；
- 了解Mongodb、HBase、HIVE等NoSQL数据库，并精通关系型数据库的开发；
- 熟悉网络爬虫相关技术，如有分类、聚类、索引、检索等相关开发经验者优先。
- 英语流利者，精通计算机软硬件维护者优先 举报 分享

总部于英国为数据分析、数字媒体、手机营销、CRM与忠诚度项目的先驱；在亚洲、欧洲与英国和知名国际品牌合作

过去20年经验中，我们已提供数个荣获奖项的企划案，协助500多个企业提升销售与改善营销。
 
欢迎加入我们，抓住未来趋势 – 捕捉数据