潍坊招聘

职位描述：
岗位职责：

1. 参与爬虫核心算法的策略优化研究；
2. 参与分布式爬虫和数据采集系统的架构设计和开发；
3. 反爬虫策略研究、代理IP建设；
4. 设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
5. 解决主流新闻站点、主流APP海量账号的登录、验证、养护及发贴等问题；
6. 解决各种论坛的反爬及登录问题；
7. 协助解决公司其它业务的信息采集问题；


任职要求

1. 计算机、软件工程相关专业本科及以上学历，在网络数据抓取，信息提取方向有3年以上的工作经验；
2. 熟悉网页抓取原理及技术，熟悉基于Cookie的网站登录原理；
3. 精通任意一种开源爬虫框架，比如scrapy、webmagic、nutch、heritrix等等，有开发爬虫框架经验优先；
4. 熟悉聚类、分类、信息研判算法及实现，对全文检索、海量数据有进行深入研究；
5. 熟悉HttpClient等爬虫组件者及有模拟登录网站抓取经验者优先；

北京上元信科技有限公司是一家专业从事互联网应用产品研发的高科技软件企业。公司注册于北京中关村科技园区，依托于北京大学等高校的科研成果与人才资源，长期致力于互联网络大数据挖掘研究、信息安全研究、互联网与移动核心网络的分析优化研究，是经国家认证的软件企业和高新技术企业。公司主要开发面向互联网、移动网络的业务流量分析及优化软件、大数据技术的研究与应用，主要客户包括网络和移动业务运营商、行业用户、大型企业、政府客户等。
上元信南京分公司致力于大数据挖掘与技术的研究，并与江苏电信合作开展大数据技术的商业化应用推广。目前，由双方共同合作推广的中国电信“舆情云”业务，为江苏、安徽等省几百个政府和企业客户提供着优质服务。