高级爬虫工程师
广州数说故事信息科技有限公司
- 公司规模:150-500人
- 公司性质:民营公司
- 公司行业:计算机服务(系统、数据服务、维修)
职位信息
- 发布日期:2020-11-07
- 工作地点:广州-天河区
- 招聘人数:3人
- 工作经验:5-7年经验
- 学历要求:本科
- 职位月薪:1.5-2万/月
- 职位类别:爬虫开发工程师
职位描述
岗位职责:
1.负责对业务方的需求进行提炼梳理、风险评估和排期
2.负责采集侧项目进度跟进和把控
3.负责公司整体反爬技术升级优化
4.支撑技术人员对采集平台进行维护升级
任职条件:
1.熟悉linux平台,熟练掌握java/shell;
2.了解jvm内存模型,***有jvm调优经验
3.了解java多线程、IO、常用设计模式
4.熟悉http、https、tcp等网络协议
5.有实际分布式爬虫项目开发经验(抓取过天猫、淘宝、京东等主流电商站点)
6.有一年以上技术团队管理经验,能带领team按时完成分配任务
7.有app端数据采集经验优先
8.项目中使用过分布式组件优先(hbase、spark、redis、es任一)
9.项目中使用过消息中间件优先(kafka、rabbitmq、rocketmq任一)
公司介绍
数说故事(DataStory)成立于2015年,公司总部设立在广州,在北京、上海、深圳、成都等主要核心城市均设有本地化分支机构。
数说故事目前旗下员工500人,60%以上大数据和AI技术研发团队。截止目前,数说故事已经构建了从数据采集、处理、分析、建模到商业应用的全价值链解决方案,帮助企业实现数据价值与业务的深度融合,完成数字化转型。
在过去的6年多时间里,数说故事已为伊利、腾讯、华为、宝洁、 联合利华、屈臣氏、英特尔、Oppo、Vivo等全国500多家头部企业 提供服务,覆盖快消、零售、科技、互联网、3C、美妆、家电、广告营销、市场研究、房地产、汽车、政企等10余个行业,致力于助力企业及政府实现业务变革和营收增长。
公司地址:
广州市天河区黄埔大道西120号高志大厦15楼
北京市朝阳区东三环北路丙2号天元港B座1003
上海市杨浦区大连路970号海上海新城商务楼9号楼601室
深圳市南山区软件产业基地4D栋4楼B5房
数说故事目前旗下员工500人,60%以上大数据和AI技术研发团队。截止目前,数说故事已经构建了从数据采集、处理、分析、建模到商业应用的全价值链解决方案,帮助企业实现数据价值与业务的深度融合,完成数字化转型。
在过去的6年多时间里,数说故事已为伊利、腾讯、华为、宝洁、 联合利华、屈臣氏、英特尔、Oppo、Vivo等全国500多家头部企业 提供服务,覆盖快消、零售、科技、互联网、3C、美妆、家电、广告营销、市场研究、房地产、汽车、政企等10余个行业,致力于助力企业及政府实现业务变革和营收增长。
公司地址:
广州市天河区黄埔大道西120号高志大厦15楼
北京市朝阳区东三环北路丙2号天元港B座1003
上海市杨浦区大连路970号海上海新城商务楼9号楼601室
深圳市南山区软件产业基地4D栋4楼B5房
联系方式
- 公司地址:地址:br广州市天河区黄埔大道西120号高志大厦15楼