爬虫工程师
蚂蚁匠人(北京)网络技术有限公司
- 公司规模:50-150人
- 公司性质:创业公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2017-03-29
- 工作地点:北京-昌平区
- 招聘人数:若干人
- 工作经验:3-4年经验
- 职位月薪:1-1.5万/月
- 职位类别:软件工程师
职位描述
职位描述:
岗位职责
1)负责网页信息抓取、数据清洗、数据消重等研发和优化工作,包括爬虫、调度、信息提取、信息存储等,提升平台的抓取效率;
2)负责抓取数据的深度提取和挖掘;
3)维护数据库的稳定性和扩展性,及数据安全性;
4)完善数据库的监控程序,及时发现问题、处理问题,提高运行效率。
任职要求:
1)具有实际爬虫开发、内容提取工作经验
2)熟悉linux平台开发,掌握Python/Java三种编程语言中的至少一种;
3)精通网页抓取原理及技术,精通HTTP 及 TCP 底层协议,精通正则表达式,从结构化的和非结构化的数据中获取信息。
4)有分布式爬虫架构,数据挖掘经验优先。
5)熟悉常用关系型数据库和非关系型数据库
举报
分享
岗位职责
1)负责网页信息抓取、数据清洗、数据消重等研发和优化工作,包括爬虫、调度、信息提取、信息存储等,提升平台的抓取效率;
2)负责抓取数据的深度提取和挖掘;
3)维护数据库的稳定性和扩展性,及数据安全性;
4)完善数据库的监控程序,及时发现问题、处理问题,提高运行效率。
任职要求:
1)具有实际爬虫开发、内容提取工作经验
2)熟悉linux平台开发,掌握Python/Java三种编程语言中的至少一种;
3)精通网页抓取原理及技术,精通HTTP 及 TCP 底层协议,精通正则表达式,从结构化的和非结构化的数据中获取信息。
4)有分布式爬虫架构,数据挖掘经验优先。
5)熟悉常用关系型数据库和非关系型数据库
职能类别: 软件工程师
公司介绍
蚂蚁匠人(北京)网络科技有限公司是一家城市建设服务一体化电商服务平台。目的是在工程设计、施工、劳务、材料、机械、运输、金融、大数据,运维方面发挥作用,提高建设工程行业资源配置效率,降低交易成本。平台主要提供工程设计、项目施工、”人、材、机“需求等领域的线上与线下交易服务,针对建设行业资金需求,通过资金代付、货款垫付、担保交易、账期支付、增信服务等,提供建设行业的供应链金融服务。在京、津、冀乃至全国建设行业市场开启一种高效、透明、诚信的交易方式。通过合作、共建、共享,构建可持续的城市建设服务生态系统,为城市建设参与者提供价值的共赢平台。
联系方式
- 公司地址:上班地址:昌平区