北京 [切换城市] 北京招聘

数据采集工程师 (MJ000554)

中国电子科技网络信息安全有限公司

  • 公司规模:5000-10000人
  • 公司性质:国企
  • 公司行业:学术/科研

职位信息

  • 发布日期:2024-02-28
  • 工作地点:成都
  • 工作经验:3年及以上
  • 学历要求:本科
  • 职位月薪:1.2-1.6万
  • 职位类别:数据采集工程师 (MJ000554)

职位描述

岗位职责:
1负责设计和开发分布式爬虫和调度系统,爬虫核心算法和调度策略优化;
2.负责反爬策略研究,代理IP、验证码识别等采集支撑服务建设;
3.深入研究不同网站的防御机制和反爬策略,提炼关键技术点;
4.负责相关爬虫技术调研与应用,完成对复杂网站和APP信息抓取;
5.关注数据质量,建立完整的数据获取、解析、入库和更新流程,并不断优化迭代完善。
任职要求:
1.本科及以上学历,计算机、软件工程、信息安全等相关专业,3年及以上爬虫开发及工作经验;
2.精通Python语言,熟练掌握主流爬虫框架scrapy、pyspider等至少一个,熟悉常用数的库requests/gevent等;
3.掌握http协议,熟悉xpath bs4 jsonpath,正则表达式等常见的数据抽取技术;
4.精通Python爬虫功能开发,熟悉常见的爬虫框架及Headless浏览器;
5.对目前常见的反爬措施有应对策略,包括但不限于使用代理IP、验证码解析、动态JS数据解析等;
6.爬取过新闻类、文章类、官网类的优先,有海外平台经验者优先;
7.熟练使用charles、fiddler等抓包工具,熟悉linux操作系统;
8.具备较强的学习能力和自我驱动力,能够不断学习和掌握新的技术和知识。

公司介绍

       中国电子科技网络信息安全有限公司(简称中国网安)是中国电科集团公司根据国家安全战略发展需要,汇聚中国电科内部资源重点打造的网络信息安全子集团。2014 年,中国电科党组决定独资注册成立中国电子科技网络信息安全有限公司,将旗下具有50 多年历史,专业从事信息安全和电磁防御的30 所(成都)、33 所(太原)整体注入。2015 年5 月8 日,公司完成工商注册登记,目前已经形成完整的网络信息安全产业链,业务涵盖“理论、算法、芯片、板卡、设备、平台、系统、整体解决方案、安全服务”。

    中国网安立足党政、军队、关键基础设施,拓展公共和国际市场,构建了基础安全产品、国家战略安全业务和公共安全业务三大业务板块,大力发展移动互联网安全、云计算安全、工业控制系统安全、安全运营服务平台、网络空间监测预警、自主高安全网络与信息系统、电磁防护材料与工程七大领域,建设信息安全技术创新、产业发展和人才汇聚高地,引领网络信息安全产业发展,忠实履行信息安全国家队的责任和使命。

   “中国网安,网安天下”,中国网安将站在新的起点上,不断超越,回馈社会。

联系方式

  • 公司地址:四川省成都市双流县大件路文星段289号 (邮编:610041)