长沙招聘

岗位职责：
1、负责通用spider的信息抽取和技术算法的研发，提升数据采集的效率和质量
2、负责设计开发超大规模的分布式以及海量公开数据采集技术，支撑百亿千亿级数据采集落地。包括但不限于调度算法、监测网页更新、高质量网页数据的监测等算法相关技术，提升采集的性能及效率
3、负责抓取策略的设计与研发，包括链接筛选算法的开发，网页质量排名算法，通过历史数据动态更新网页的排名策略，主题侧重的自适应爬虫系统的设计与实现
4、负责构建完善的监控机制，实时监控爬虫状态及数据质量，包括但不限于反爬虫策略
任职要求：
1、精通python/Java/c++中至少一种编程语言
2、熟悉主流的爬虫采集框架，如Scrapy/Selenium等
3、有扎实的数据结构以及算法基础
4、有搜索引擎的通用爬虫系统建设者优先
5、参与过大型分布式爬虫系统设计、优化以及成功的经验
6、有抓取策略算法设计经验者优先

上海微创软件股份有限公司2002年由微软与上海市政府共同创办，是微软在华投资的***家合资公司。微创始终秉承高标准的服务品质与“成就客户”的服务理念，在全球设有20余处交付中心，分布在中国、美国、日本、澳大利亚，凭借在汽车、保险、高科技、金融、互联网等行业的深厚积累和丰富经验，与2500余家企业与政府客户达成了长期、稳定、友好的合作。