java爬虫工程师
链动数据技术(北京)有限公司
- 公司规模:50-150人
- 公司性质:上市公司
- 公司行业:互联网/电子商务 广告
职位信息
- 发布日期:2017-01-15
- 工作地点:北京-东城区
- 招聘人数:若干人
- 工作经验:3-4年经验
- 职位月薪:20000-30000/月
- 职位类别:数据库工程师/管理员
职位描述
职位描述:
岗位职责:
1、 参与核心爬虫系统架构设计、数据库设计;
2、 负责网络爬虫的核心技术研究和开发,参与各种核心搜索策略、算法、数据聚类、重组的设计与开发;
3、 设计策略和算法,提升网页抓取的效率和质量;
4、 分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进。
任职要求:
1、本科以上学历,两年以上爬虫系统开发经验,熟练掌握Linux系统下JAVA编程和调试;
2、在业界知名企业,参与过海量数据抓取体系构建;
3、熟悉模板和自动页面信息抽取,有网页 类型分析者优先;
4、熟悉多线程、高并发;http协议,tcp协议
5、熟悉JS,ajax,网页消重,能够总结分析不同网站,网页的结构特点及规律
6、有分布式爬虫架构,数据挖掘经验者优先;
7、有垂直领域爬虫开发经验者优先
举报
分享
岗位职责:
1、 参与核心爬虫系统架构设计、数据库设计;
2、 负责网络爬虫的核心技术研究和开发,参与各种核心搜索策略、算法、数据聚类、重组的设计与开发;
3、 设计策略和算法,提升网页抓取的效率和质量;
4、 分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进。
任职要求:
1、本科以上学历,两年以上爬虫系统开发经验,熟练掌握Linux系统下JAVA编程和调试;
2、在业界知名企业,参与过海量数据抓取体系构建;
3、熟悉模板和自动页面信息抽取,有网页 类型分析者优先;
4、熟悉多线程、高并发;http协议,tcp协议
5、熟悉JS,ajax,网页消重,能够总结分析不同网站,网页的结构特点及规律
6、有分布式爬虫架构,数据挖掘经验者优先;
7、有垂直领域爬虫开发经验者优先
职能类别: 数据库工程师/管理员
公司介绍
链动数据技术(北京)有限公司是一家聚焦于广告传媒行业的大数据公司,系科达上市公司的子公司。公司办公地点坐落在繁华的北京东二环歌华大厦,办公环境舒适,交通便利。业务方面,公司深扎广告传媒行业,通过大数据技术提升行业运行效率,创新行业的发展业态,引领广告传媒的技术化、创新化前沿。公司已有50多人的研发团队,布局合理,技术实力雄厚,产业资源丰富,是一家发展迅速的新型大数据型媒体技术公司。
联系方式
- 公司地址:上班地址:北京市东城区青龙胡同1号歌华大厦B座1222室