北京招聘

职位描述：
网络爬虫系统架构师
工作职责：
1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析；
2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
3、负责网页信息抽取、数据清洗等研发和优化工作；
4、负责抓取数据的深度提取和挖掘。

任职要求：
1、熟悉linux平台开发，5年以上Java开发经验；
2、精通信息抓取和整合技术，从结构化的和非结构化的数据中获取信息，掌握正则表达式；
3、熟悉多线程、多进程、网络通信编程相关知识；
4、2年以上大规模网页爬虫开发经验, 熟悉JS，ajax，网页消重；
5、能够总结分析不同网站，网页的结构特点及规律；
6、熟悉HttpClient、HtmlParser、Jsoup、Lucene、Nutch中的一种或多种开源技术；
7、必须有分布式爬虫架构经验；
8、有通用/垂直/开放平台/APP领域爬虫开发经验优先；
9、熟悉MYSQL，ORACLE等数据库应用，有NoSQL实际使用经验者优先。 举报 分享

微科创新（北京）科技有限公司是一家严格按照CMMI软件开发过程管理等多重国际标准规范的高科技软件公司。

公司集软件研发、产品销售、技术服务于一体，长期以来企业凭借专业的软件技术及诚信的经营理念，在教育、部队、电力、农业、办公自动化等领域有着较为完善的解决方案及信息系统成功案例，通过自主研发的高校HRM系统、部队门户、内容发布系统、文档管理系统、OA等系统使得客户在企业信息化有了质的飞跃。