深圳 [切换城市] 深圳招聘深圳互联网/电子商务/网游招聘深圳网络工程师招聘

大数据开发工程师

深圳市中宝互动电子商务有限公司

  • 公司规模:50-150人
  • 公司性质:民营公司
  • 公司行业:网络游戏

职位信息

  • 发布日期:2019-11-18
  • 工作地点:深圳-宝安区
  • 招聘人数:若干人
  • 工作经验:3-4年经验
  • 学历要求:大专
  • 职位月薪:1-1.5万/月
  • 职位类别:大数据开发/分析  网络工程师

职位描述

工作职责:

1、专注于垂直领域数据爬取,进行多平台信息的抓取、分析、清洗和监控

2、负责数据抓取平台规划和建设,完成数据采集与爬取、解析处理和入库;

3、参与爬虫系统的架构设计与开发,提升网页抓取的效率和质量、定向爬取、深度提取和挖掘;

4、有实际爬虫开发经验1年以上; 有逆向分析、反爬等相关经验,熟悉反爬机制,处理账号限制、复杂验证码、模拟登陆等疑难问题,能独立解决实际开发过程中碰到的各类问题;

2、熟悉Proxy、PhantomJS、Selenium等相关技术

5、研究优化爬虫算法,提升爬虫系统的稳定性、可扩展性,具备大规模爬虫系统设计能力,熟悉评论采集等常见数据采集任务;


岗位职责:

1、 计算机相关专业,本科以上学历,2年以上爬虫领域工作经验,1年以上爬虫团队合作经验;2、熟悉Python开发,熟悉wxpython,熟悉抓取框架,有完整的界面化爬虫平台开发经验;

2、 2年以上的爬虫经验,有扎实的算法和数据结构能力具备强悍的编码能力;

3、 熟悉爬虫原理,熟悉常见的反爬虫技术,有爬虫相关项目开发经验者优先;

4、 熟悉tcp,http协议原理;熟悉ajax工作原理;精通Python编程,至少熟悉一种开源爬虫框架和源码;

5、 掌握http协议,熟悉html、dom、xpath等常见的数据抽取技术;

6、 熟悉html标签,html模块解析、拆分、样式还原等;

7、 熟悉html样式,js脚本,js渲染。 备注:本岗位需要对html分模块解析,根据url实时解析文章内容并返回,需具备模块拆解、网页解析后样式还原等能力。

8、 熟悉基于正则表达式、Xpath,CSS选择器等网页信息抽取技术

9、 掌握常见爬虫库和框架,如urlib、requests、Scrapy、Selenium(appnium)等,有实际项目经验;

10、 熟悉常见反爬技术,有金融相关爬虫经验优先;

11、 负责数据的抓取、解析、清洗、入库;

公司介绍

深圳市中宝互动电子商务有限公司成立于2015年,总部位于深圳宝安区繁华商业地段。深圳、黄山、湖南、江西等地设有下属品牌公司。有专业的研发团队以及强大的背景集团扶持、强大IP及娱乐资源。把研发作为公司核心发展方向,实现价值挖掘最大化。通过泛娱乐上游、中游、下游产业的全面布局,公司目前已构建了一个涵盖研发、运营及推广营销的全方位互动娱乐平台。
    中宝互动有限公司经营范围:计算机软件的开发与设计;网络技术开发与咨询,电子产品的开发与销售;游戏软件的技术开发与销售;动漫的开发与设计。

联系方式

  • 公司地址:地址:span宝安区西乡街道中央大道二期C座9DE