大数据开发工程师
深圳市中宝互动电子商务有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:网络游戏
职位信息
- 发布日期:2019-11-18
- 工作地点:深圳-宝安区
- 招聘人数:若干人
- 工作经验:3-4年经验
- 学历要求:大专
- 职位月薪:1-1.5万/月
- 职位类别:大数据开发/分析 网络工程师
职位描述
工作职责:
1、专注于垂直领域数据爬取,进行多平台信息的抓取、分析、清洗和监控
2、负责数据抓取平台规划和建设,完成数据采集与爬取、解析处理和入库;
3、参与爬虫系统的架构设计与开发,提升网页抓取的效率和质量、定向爬取、深度提取和挖掘;
4、有实际爬虫开发经验1年以上; 有逆向分析、反爬等相关经验,熟悉反爬机制,处理账号限制、复杂验证码、模拟登陆等疑难问题,能独立解决实际开发过程中碰到的各类问题;
2、熟悉Proxy、PhantomJS、Selenium等相关技术
5、研究优化爬虫算法,提升爬虫系统的稳定性、可扩展性,具备大规模爬虫系统设计能力,熟悉评论采集等常见数据采集任务;
岗位职责:
1、 计算机相关专业,本科以上学历,2年以上爬虫领域工作经验,1年以上爬虫团队合作经验;2、熟悉Python开发,熟悉wxpython,熟悉抓取框架,有完整的界面化爬虫平台开发经验;
2、 2年以上的爬虫经验,有扎实的算法和数据结构能力具备强悍的编码能力;
3、 熟悉爬虫原理,熟悉常见的反爬虫技术,有爬虫相关项目开发经验者优先;
4、 熟悉tcp,http协议原理;熟悉ajax工作原理;精通Python编程,至少熟悉一种开源爬虫框架和源码;
5、 掌握http协议,熟悉html、dom、xpath等常见的数据抽取技术;
6、 熟悉html标签,html模块解析、拆分、样式还原等;
7、 熟悉html样式,js脚本,js渲染。 备注:本岗位需要对html分模块解析,根据url实时解析文章内容并返回,需具备模块拆解、网页解析后样式还原等能力。
8、 熟悉基于正则表达式、Xpath,CSS选择器等网页信息抽取技术
9、 掌握常见爬虫库和框架,如urlib、requests、Scrapy、Selenium(appnium)等,有实际项目经验;
10、 熟悉常见反爬技术,有金融相关爬虫经验优先;
11、 负责数据的抓取、解析、清洗、入库;
公司介绍
中宝互动有限公司经营范围:计算机软件的开发与设计;网络技术开发与咨询,电子产品的开发与销售;游戏软件的技术开发与销售;动漫的开发与设计。
联系方式
- 公司地址:地址:span宝安区西乡街道中央大道二期C座9DE