南京招聘

岗位职责:

1、负责网络爬虫程序设计，开发及维护，对目标网站进行数据爬取分析，搭建和优化分布式爬虫系统，进行多平台抓取和分析工作，找到最优化的爬取策略。

2、负责爬虫系统的架构设计和研发，进行数据抽取、清洗、去重，分类，过滤；

3、负责技术难点的攻克；

4、负责大规模数据爬虫的性能优化工作； 

5、负责组织开发可视化爬虫调度管理中心工作，包含编写调试爬虫，调度爬虫任务，管理相关资源，整体沙盘概览，数据预览查询，搭建分布式爬虫预警系统，监控爬虫健康状况等基本功能；

 

任职资格:

1.熟练使用xpath，css selector进行页面解析。

2.熟悉js破解，了解hook技术、AST解析，能编写浏览器插件更佳。

3.Python基础扎实，熟悉多进程，多线程，异步编程。

4.熟悉ython的爬虫框架比如crawley、scrapy、requests库、BeautifulSoup解析库、lxml库；

5.熟悉常用数据库，MySQL，MongoDB，Redis等。

6.具有政府类信息化建设项目经验的优先，并为政府提供相关服务者优先。

7.素质全面，具有较强的协调、沟通、口头与书面表达能力。

考核方式：负责数据采集工具的架构设计、计划组织协调和控制，完成各项目标（计划、进度、质量和安全等）。

中国信息通信研究院（以下简称“中国信通院”）始建于1957年，是工业和信息化部直属科研事业单位。多年来，中国信通院始终秉持“国家高端专业智库 产业创新发展平台”的发展定位和“厚德实学 兴业致远”的核心文化价值理念，在行业发展的重大战略、规划、政策、标准和测试认证等方面发挥了有力支撑作用，为我国通信业跨越式发展和信息技术产业创新壮大起到了重要推动作用。

近年来，适应经济社会发展的新形势新要求，围绕国家“网络强国”和“制造强国”新战略，中国信通院着力加强研究创新，在强化电信业和互联网研究优势的同时，不断扩展研究领域、提升研究深度，在4G/5G、工业互联网、智能制造、移动互联网、物联网、车联网、未来网络、云计算、大数据、人工智能、虚拟现实/增强现实（VR/AR）、智能硬件、网络与信息安全等方面进行了深入研究与前瞻布局，在国家信息通信及信息化与工业化融合领域的战略和政策研究、技术创新、产业发展、安全保障等方面发挥了重要作用，有力支撑了互联网+、制造强国、宽带中国等重大战略与政策出台和各领域重要任务的实施。