爬虫工程师
重庆扬升信息技术有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:计算机软件
职位信息
- 发布日期:2016-10-31
- 工作地点:重庆-渝北区
- 招聘人数:1人
- 工作经验:1年经验
- 学历要求:本科
- 职位月薪:4500-6999/月
- 职位类别:软件工程师
职位描述
职位描述:
岗位职责:
1、对爬虫感兴趣,能独立爬取数据;
2、能够利用爬虫爬取各大网站的数据。
3、对爬取的内容进行提取、处理、优化、过滤,审核,入库等操作;
4、针对不同网站,编写及维护网页抽取配置;
5、有数据采集经验者优先;
任职要求:
1、熟练掌握一种开发语言,并且对其他语言有一定的理解能力,和简单的编写能力,熟悉c#或者Java语言者优先;
2、熟悉Html,XML网页标记语言,熟悉基于Cookie的网站登录原理,熟悉基于正则表达式、Xpath、CSS等网页信息抽取技术,熟悉JS,ajax,网页消重;
3、熟悉Sql数据库,了解Redis、Mongodb、HBase、HIVE等NoSQL数据库;
4、熟悉多线程、网络通信编程相关知识
5、1-2年以上爬虫开发经验,有垂直主题爬虫或者分布式爬虫架构经验优先;
举报
分享
岗位职责:
1、对爬虫感兴趣,能独立爬取数据;
2、能够利用爬虫爬取各大网站的数据。
3、对爬取的内容进行提取、处理、优化、过滤,审核,入库等操作;
4、针对不同网站,编写及维护网页抽取配置;
5、有数据采集经验者优先;
任职要求:
1、熟练掌握一种开发语言,并且对其他语言有一定的理解能力,和简单的编写能力,熟悉c#或者Java语言者优先;
2、熟悉Html,XML网页标记语言,熟悉基于Cookie的网站登录原理,熟悉基于正则表达式、Xpath、CSS等网页信息抽取技术,熟悉JS,ajax,网页消重;
3、熟悉Sql数据库,了解Redis、Mongodb、HBase、HIVE等NoSQL数据库;
4、熟悉多线程、网络通信编程相关知识
5、1-2年以上爬虫开发经验,有垂直主题爬虫或者分布式爬虫架构经验优先;
职能类别: 软件工程师
关键字: 爬虫
公司介绍
重庆扬升信息技术有限公司是国家高新技术企业、国家双软企业,国家智慧城市总体组成员单位(重庆首家)、注册资金5500万元,公司拥有CMMI3、软件安全集成等核心资质,总部位于重庆仙桃国际数据谷东路19号,分别在四川,贵州,陕西,云南,广西设立分支机构,业务区域覆盖全国二十余个省市。公司是国内智慧政务行业大数据技术及运营服务领域的先行者和创新者,公司以智慧政务,智慧园区,智慧城市为三大主营方向,在相关领域具有典型应用案例。目前已为国内政府、企业等500余家单位提供了成功的应用系统解决方案。
联系方式
- 公司地址:地址:span重庆市渝北区仙桃数据谷东路19号C06栋第13层