爬虫工程师
中国企业评价协会
- 公司规模:少于50人
- 公司性质:事业单位
- 公司行业:学术/科研
职位信息
- 发布日期:2019-09-17
- 工作地点:北京-朝阳区
- 招聘人数:若干人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1-1.5万/月
- 职位类别:数据库工程师/管理员
职位描述
岗位职责
1、从事网页及APP数据采集的技术研发工作;
2、负责设计爬虫策略及反爬规则,提升数据采集效率、完整度和稳定性;
3、负责智能采集系统设计与研发,如采集任务调度,页面解析和结构化抽取,海量数据存储和读取等。
岗位要求
1、本科及以上学历,3年以上软件开发经验,至少2年以上爬虫开发经验;
2、熟练掌握JAVA或Python开发,扎实的编程功底,熟悉常用的数据结构和算法;
3、熟悉各种爬虫技术:adsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpClient、分布式爬虫调度、代理ip调度算法、配置化爬虫、授权爬虫;
4、熟悉常见的反爬虫技术及其突破方案;
5、熟悉Oracle和NoSql(MongoDB,Redis,Hbase等);
6、有实体抽取,文本分类相关经验者优先;
职能类别:数据库工程师/管理员
公司介绍
中国企业评价协会是国务院发展研究中心于1991年发起成立,是民政部注册、***具备企业评价资质的***社团法人组织,现接受中央国家机关工委的党建管理。中国企业评价协会曾会同国务院各有关部委,按照国际惯例连续8年发布了中国500强***工业企业,***经济效益企业、服务业企业和建筑业评价结果,对我国工业、交通通信业、金融业、建筑业、商业、旅游业、进出口贸易等各行业企业规模、效益进行了详尽的分类、对比和评价,撰写出了一系列综合和专项分析报告,在国内外引起较大反响。2000年起,中评协会同国务院有关部委,开展了“成长型中小企业”、“企业自主创新”、“企业社会责任”、“大企业国际竞争力”、“上市公司竞争力”、“知识产权强企”等一系列评价体系的编制工作,并出版各类评价报告。上述评价研究对推动我国企业创新发展、转型升级,起到了积极的推动作用。
联系方式
- Email:zpx@sina.com
- 公司地址:北京 (邮编:100026)