北京招聘

职位描述

岗位职责：
1、负责设计和开发分布式的网络爬虫应用，进行互联网相关信息的抓取和分析；
2、负责与搜索技术相关的系统模块的设计、开发和维护工作，达到高效稳定的效果；
3、负责网页信息抽取技术的研究和开发；
4、设计爬取、调度和抽取算法，优化系统；
5、负责抓取数据的深度提取和挖掘。
职位要求：
1、精通网页抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息；
2、熟悉linux平台开发，具备搜索引擎开发的研究背景和项目背景；
3、熟悉大型互联网内容搜索产品的设计, 架构, 对大数据量搜索应用有一定经验；
4、熟悉搜索引擎和网络爬虫相关技术；
5、熟悉Lucene/Nutch/Heritrix/HtmlParser等开源工具；
6、熟悉hadoop并行计算和编程框架，有HDFS、HBase、Solr使用经验优先；
7、具有数据挖掘、自然语言处理、信息检索、机器学习背景的优先。