网络爬虫研发工程师
人民日报媒体技术股份有限公司
- 公司规模:150-500人
- 公司性质:国企
- 公司行业:文字媒体/出版
职位信息
- 发布日期:2020-03-19
- 工作地点:北京-朝阳区
- 招聘人数:1人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1-2万/月
- 职位类别:爬虫开发工程师
职位描述
岗位描述:
1. 负责传统网页、新媒体网站信息高效采集与正确解析。
2. 负责网页爬虫架构设计(包括基础资源,如代理池技术、反反爬技术、浏览器采集技术等等)与核心技术研发。
3. 负责互联网资源的特征挖掘,主要对网页特征、站点结构、资源变化趋势等进行数据分析和特征建模。
4. 设计策略和算法,提升网页抓取的效率和质量,进一步解决系统的网页排重、垃圾控制、资源划分等问题 。
5. 分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进。
任职资格:
1. 计算机、信息技术或相关专业本科或以上学历。
2. 有两年以上软件设计与开发经验。
3. 扎实的java语言基础,熟悉linux平台下主流Java应用开发框架及中间件(如Spring、Spring Boot、Mybatis、Hibernate、Kafka、ElasticSearch等),能够对Java进行代码级的调优和调试;
4. 熟悉HTML/JavaScript/CSS/ AJAX等web技术,熟悉web相关数据处理技术。
5. 熟悉常用的浏览器调试技术。
6. 熟悉常见的反爬机制及对应的应对措施,如cookie识别。
7. 精通网页爬虫、分布式、多线程开发技术。
8. 对数据结构和算法设计有较为深刻的理解。
9. 有Mysql、MongoDb、redis等组件开发经验。
10. 具有很强的分析和解决问题的能力。
11. 具有攻克难题的强烈兴趣,以及提升技术能力的意愿。
12. 善于主动学习,责任心强,能够承受较高的工作压力。
职能类别:爬虫开发工程师
公司介绍
人民日报媒体技术股份有限公司于2014年3月成立,是人民日报社社属一级企业,人民日报社、环球时报社、中国能源汽车传播集团有限公司为股东,注册资本一亿元人民币。 公司以建设“人民日报全媒体平台”(中央厨房),打造人民日报社媒体融合发展的技术平台、运营平台、资本平台为核心业务。依托先进技术,汇聚内容资源,融通传播渠道,创新盈利模式,人民日报中央厨房将与媒体、政府、大型机构、大型企业共同建设内容协作生产、全球分发的融合大平台。
公司主营业务包括:
1、媒体融合发展的方案设计、规划咨询;
2、媒体融合的技术体系建设及媒体云服务;
3、各种内容的国内、国外渠道分发;
4、融合相关技术、渠道的投资、融资服务;
5、特效视频、VR、可视化产品(H5)的制作;
6、政府、机构、企业、大型赛事、大型活动、旅游景点的品牌建设和全球推广;
7、地方、行业发展的大数据分析与咨询;
8、LPD超清智能互动触屏系统;
9、网站、APP、自媒体账号等各类终端站点的建设运营。
公司主营业务包括:
1、媒体融合发展的方案设计、规划咨询;
2、媒体融合的技术体系建设及媒体云服务;
3、各种内容的国内、国外渠道分发;
4、融合相关技术、渠道的投资、融资服务;
5、特效视频、VR、可视化产品(H5)的制作;
6、政府、机构、企业、大型赛事、大型活动、旅游景点的品牌建设和全球推广;
7、地方、行业发展的大数据分析与咨询;
8、LPD超清智能互动触屏系统;
9、网站、APP、自媒体账号等各类终端站点的建设运营。
联系方式
- Email:yangyanling@pdmi.cn
- 公司地址:地址:span朝阳区金台西路2号人民日报社新媒体大厦29层