数据采集工程师(J10292)
好车酷酷二手车经纪(天津)有限公司
- 公司规模:1000-5000人
- 公司性质:合资
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2019-04-03
- 工作地点:北京-海淀区
- 招聘人数:若干人
- 工作经验:5-7年经验
- 学历要求:本科
- 职位月薪:2-2.5万/月
- 职位类别:高级软件工程师
职位描述
工作职责:
1. 5年及以上Python爬虫经验,良好的编码风格及编码能力
2. 熟悉HTML、CSS、JavaScript等页面技术,熟悉网页布局和架构,熟悉HTTP等协议
3. 熟练使用爬虫相关技术,如urlib、requests、bs4、xpath、css、正则等,能够从结构化和非结构化的数据中获取信息
4. 掌握Linux基本操作,能够编写shell脚本优先
5. 熟悉MySQL、MongoDB、Oracle、Redis、MongoDB等数据库中至少一种,熟悉SQL语言
6. 熟悉常见的反爬技术及解决办法,如User-Agent、IP代理、cookie池等,有爬虫、反爬机制研发经验优先
7. 熟悉常用爬虫框架Scrapy,有开发爬虫框架经验优先、有过分布式系统使用及开发经验的优先
8. 有良好的思维能力、自学能力,有责任心,有团队精神,对技术研发感兴趣,有较强的钻研精神,动手能力强
任职资格:
1. 研究目标网站、网页、链接的特点、发现其规律和特点,负责多平台数据的采集
2. 参与爬虫系统、解析系统的设计开发,数据库设计
3. 参与设计策略的优化,提升网页抓取的效率和质量
4. 设计爬虫策略和防屏蔽规则,解决封账号、封IP、验证码等难点攻克
职能类别: 高级软件工程师
公司介绍
淘车是国内专业的二手车新零售平台,于2018年6月获得腾讯、京东等战略投资人共同注资。淘车以“保真车源、保真车况、保真车价”为核心,致力于构建一个“车况全透明,买车更放心“的保真二手车生态体系,并通过线上互联网产品与线下门店相结合的新零售模式为消费者提供一站式购车服务,努力实现“让更多人拥有放心二手车”的企业使命。
联系方式
- 公司地址:地址:span四川省成都市双流区珠江路600号蓝光可可摩A馆一楼