北京 [切换城市] 北京招聘

网络爬虫研发工程师

人民日报媒体技术股份有限公司

  • 公司规模:150-500人
  • 公司性质:国企
  • 公司行业:文字媒体/出版

职位信息

  • 发布日期:2020-03-19
  • 工作地点:北京-朝阳区
  • 招聘人数:1人
  • 工作经验:3-4年经验
  • 学历要求:本科
  • 职位月薪:1-2万/月
  • 职位类别:爬虫开发工程师

职位描述

岗位描述:
1. 负责传统网页、新媒体网站信息高效采集与正确解析。

2. 负责网页爬虫架构设计(包括基础资源,如代理池技术、反反爬技术、浏览器采集技术等等)与核心技术研发。

3. 负责互联网资源的特征挖掘,主要对网页特征、站点结构、资源变化趋势等进行数据分析和特征建模。

4. 设计策略和算法,提升网页抓取的效率和质量,进一步解决系统的网页排重、垃圾控制、资源划分等问题 。

5. 分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进。

任职资格:

1. 计算机、信息技术或相关专业本科或以上学历。

2. 有两年以上软件设计与开发经验。

3. 扎实的java语言基础,熟悉linux平台下主流Java应用开发框架及中间件(如Spring、Spring Boot、Mybatis、Hibernate、Kafka、ElasticSearch等),能够对Java进行代码级的调优和调试;

4. 熟悉HTML/JavaScript/CSS/ AJAX等web技术,熟悉web相关数据处理技术。

5. 熟悉常用的浏览器调试技术。

6. 熟悉常见的反爬机制及对应的应对措施,如cookie识别。

7. 精通网页爬虫、分布式、多线程开发技术。

8. 对数据结构和算法设计有较为深刻的理解。

9. 有Mysql、MongoDb、redis等组件开发经验。

10. 具有很强的分析和解决问题的能力。

11. 具有攻克难题的强烈兴趣,以及提升技术能力的意愿。

12. 善于主动学习,责任心强,能够承受较高的工作压力。

职能类别:爬虫开发工程师

公司介绍

人民日报媒体技术股份有限公司于2014年3月成立,是人民日报社社属一级企业,人民日报社、环球时报社、中国能源汽车传播集团有限公司为股东,注册资本一亿元人民币。 公司以建设“人民日报全媒体平台”(中央厨房),打造人民日报社媒体融合发展的技术平台、运营平台、资本平台为核心业务。依托先进技术,汇聚内容资源,融通传播渠道,创新盈利模式,人民日报中央厨房将与媒体、政府、大型机构、大型企业共同建设内容协作生产、全球分发的融合大平台。
公司主营业务包括:
1、媒体融合发展的方案设计、规划咨询;
2、媒体融合的技术体系建设及媒体云服务;
3、各种内容的国内、国外渠道分发;
4、融合相关技术、渠道的投资、融资服务;
5、特效视频、VR、可视化产品(H5)的制作;
6、政府、机构、企业、大型赛事、大型活动、旅游景点的品牌建设和全球推广;
7、地方、行业发展的大数据分析与咨询;
8、LPD超清智能互动触屏系统;
9、网站、APP、自媒体账号等各类终端站点的建设运营。

联系方式

  • Email:yangyanling@pdmi.cn
  • 公司地址:地址:span朝阳区金台西路2号人民日报社新媒体大厦29层