青岛招聘

岗位职责:

1. 负责设计和开发分布式的网络爬虫应用，进行WOS、CNKI等开放元文献的采集以及互联网开源信息（新闻、微博、微信、论坛）等的抓取和解析；

2. 针对各类数据源的数据访问要求，设置合理的采集时间间隔和策略，同时对数据站点反爬策略进行研究，提高抓取数据的能力和稳定性；

3. 设计策略和算法，提升网页抓取的效率和质量，进一步解决系统的网页排重垃圾控制、资源划分等问题；

4. 分析爬虫系统的技术缺陷，优化网页爬虫架构设计与核心技术研发，对策略架构做出合理地调整和改进。

任职要求：
1.熟悉JAVA、PYTHON至少其中一种程序开发；

2.精通网页抓取原理及技术，精通从结构化的和非结构化的数据中获取信息者优先；

3.具有数据挖掘、自然语言处理、信息检索、机器学习背景的优先；

4.熟悉linux平台，熟悉Oracle、Mysql及Hadoop/Spark分布式数据库；

5.熟悉搜索引擎和网络爬虫相关技术和开源工具；

6.具有很强的分析和解决问题的能力，攻克难题的强烈兴趣，善于学习。

    青岛智能产业技术研究院是由是由中国科学院自动化研究所、青岛高新区管委会、青岛市科技局三方共建的新型科研事业单位；主要由青岛智能产业技术研究院（中国科学院自动化研究所青岛智能产业技术研究中心）、智能产业发展公司、智能产业园、智能产业基金和大数据分析平台组成。遵循“立足青岛，辐射山东，服务全国”的发展方针，致力于充分利用各方的资源和优势，集聚国内外信息、软件、自动化、智能化等领域人才，通过智能产业前沿技术的创新、集成创新和成果转移转化，积极开拓有核心竞争力的新兴智能产业。