爬虫开发工程师
北京国研网信息有限公司
- 公司规模:150-500人
- 公司性质:国企
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2019-05-15
- 工作地点:北京-东城区
- 招聘人数:若干人
- 工作经验:无工作经验
- 学历要求:招若干人
- 语言要求:不限
- 职位月薪:1-2.5万/月
- 职位类别:高级软件工程师
职位描述
岗位职责:
1、负责数据平台的数据采集与爬取、解析处理、入库及备份等数据日常工作;
2、数据采集工具软件平台的开发、测试工作;
3、负责分析新的数据需求, 完成数据处理的设计(文档)和实现;
4、负责数据的清洗、整理、整合及合并等工作;
5、负责数据处理程序设计框架改善, 数据处理性能优化, 系统数据处理的能力提高;
6、负责和数据架构师、数据挖掘、分析人员协同工作, 完成数据的统计、查询和分析。
任职要求:
1、大学本科以上学历,2年以上信息采集相关工作经验,具有与数字出版行业相关的经验优先考虑;
2、精通Python或C#语言;
3、精通网页抓取原理及技术,精通正则表达式,熟练从结构化和非结构化的数据中获取信息;
4、熟悉Ajax工作原理,具备扎实的数据结构与算法功底;
5、熟悉常用的反爬虫策略,有开发自动化爬虫框架经验优先,有验证码识别技术者优先;
6、熟悉Mysql/MongoDB/Redis,有过数据库调优和海量数据存储经验优先;
7、有数据处理和清晰经验,了解Hadoop、Spark等大数据框架和流处理技术者优先;
8、理解能力、分析能力强,逻辑思维清晰,条理清楚,具有较强的协调沟通能力,有良好的团队协作意识。
1、负责数据平台的数据采集与爬取、解析处理、入库及备份等数据日常工作;
2、数据采集工具软件平台的开发、测试工作;
3、负责分析新的数据需求, 完成数据处理的设计(文档)和实现;
4、负责数据的清洗、整理、整合及合并等工作;
5、负责数据处理程序设计框架改善, 数据处理性能优化, 系统数据处理的能力提高;
6、负责和数据架构师、数据挖掘、分析人员协同工作, 完成数据的统计、查询和分析。
任职要求:
1、大学本科以上学历,2年以上信息采集相关工作经验,具有与数字出版行业相关的经验优先考虑;
2、精通Python或C#语言;
3、精通网页抓取原理及技术,精通正则表达式,熟练从结构化和非结构化的数据中获取信息;
4、熟悉Ajax工作原理,具备扎实的数据结构与算法功底;
5、熟悉常用的反爬虫策略,有开发自动化爬虫框架经验优先,有验证码识别技术者优先;
6、熟悉Mysql/MongoDB/Redis,有过数据库调优和海量数据存储经验优先;
7、有数据处理和清晰经验,了解Hadoop、Spark等大数据框架和流处理技术者优先;
8、理解能力、分析能力强,逻辑思维清晰,条理清楚,具有较强的协调沟通能力,有良好的团队协作意识。
职能类别: 高级软件工程师
公司介绍
国务院发展研究中心信息网(简称国研网)是中国著名的大型经济类专业网站。国研网依托于国务院发展研究中心丰富的信息资源和强大的专家阵容,团结海内外众多研究部门和媒体机构,以先进的网络技术和独到的专业视角,全面整合国内外的经济信息资源,为各级政府部门、企业、海内外投资者以及研究机构提供关于中国经济政策和发展环境的长期、系统、深入、权威的分析和预测,满足投资者深入了解中国宏观经济和行业经济领域政策导向及经济环境的需求,对投资决策和投资行为给予指导。
联系方式
- 公司地址:地址:span瀚海科技大厦A座9层