数据抓取
上海八度网络科技有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:互联网/电子商务 计算机软件
职位信息
- 发布日期:2017-07-12
- 工作地点:上海-闵行区
- 招聘人数:2人
- 工作经验:2年经验
- 职位月薪:0.8-1.5万/月
- 职位类别:软件工程师
职位描述
职位描述:
职位描述:
1、负责设计和开发分布式的网络爬虫应用,包括调度、抓取、入库等内容,进行互联网相关信息的抓取和分析;
2、实现大规模文本抓取、抽取,去重、分类,垃圾过滤,质量识别、解析入库等工作;
3、网络爬虫架构设计、功能开发及优化;
4、负责网页的自动化分析抽取系统。
【岗位要求】
1、2年以上java开发经验,一年以上爬虫开发经验,有扎实的数据结构和算法功底;
2、精通正则表达式、DOM、XPath、jsoup、httpclient、Selenium等跟抓取相关的技术;
3、熟悉搜索引擎和网络爬虫相关技术,熟悉爬虫相关检索算法,对大内存操作,高性能,大规模数据处理;
4、熟悉 javascript, html, css, xml,json等多种网页技术和数据协议;
5、熟悉mysql、sqlserver数据库。
举报
分享
职位描述:
1、负责设计和开发分布式的网络爬虫应用,包括调度、抓取、入库等内容,进行互联网相关信息的抓取和分析;
2、实现大规模文本抓取、抽取,去重、分类,垃圾过滤,质量识别、解析入库等工作;
3、网络爬虫架构设计、功能开发及优化;
4、负责网页的自动化分析抽取系统。
【岗位要求】
1、2年以上java开发经验,一年以上爬虫开发经验,有扎实的数据结构和算法功底;
2、精通正则表达式、DOM、XPath、jsoup、httpclient、Selenium等跟抓取相关的技术;
3、熟悉搜索引擎和网络爬虫相关技术,熟悉爬虫相关检索算法,对大内存操作,高性能,大规模数据处理;
4、熟悉 javascript, html, css, xml,json等多种网页技术和数据协议;
5、熟悉mysql、sqlserver数据库。
职能类别: 软件工程师
公司介绍
上海八度网络科技有限公司,是国内领先的信息科技创新企业,由具有多年服务软件经验的团队打造而成。公司由国内知名投资机构投资注册,在短短几年时间内又获得其他基金公司的多轮投资,促成公司长足发展。 公司于2016年开创超级售后服务平台,致力于开拓家电售后领域的互联网售后服务平台,在线化提升家电售后服务效率和质量,节省企业成本。同时,公司提供可视化大数据分析平台,为家电企业提供信息化解决方案,打造领先的售后体系数据分析平台。
一个高速发展的行业,一群志同道合的伙伴,一个由你想象任你发挥的平台,期待你的加入……
一个高速发展的行业,一群志同道合的伙伴,一个由你想象任你发挥的平台,期待你的加入……
联系方式
- 公司地址:上班地址:北二环大明宫万达广场1甲写字楼1302室