深圳 [切换城市] 深圳招聘深圳科研人员招聘

Python爬虫开发工程师

深圳市前海国际人才服务中心有限公司

  • 公司性质:事业单位
  • 公司行业:专业服务(咨询、人力资源、财会)

职位信息

  • 发布日期:2019-11-24
  • 工作地点:深圳
  • 招聘人数:5人
  • 工作经验:无工作经验
  • 学历要求:硕士
  • 职位类别:科研人员

职位描述

工作职责:

1、专注于垂直领域数据爬取,进行多平台信息的抓取和分析;

2、负责数据抓取平台规划和建设,完成数据采集与爬取、解析处理和入库;

3、参与爬虫系统的架构设计与开发,提升网页抓取的效率和质量、定向爬取、深度提取和挖掘;

4、破解各类反爬机制,能独立解决实际开发过程中碰到的各类问题;

5、研究优化爬虫算法,提升爬虫系统的稳定性、可扩展性。


职位要求:

1、计算机相关专业,本科以上学历,2年以上爬虫领域工作经验,1年以上爬虫团队合作经验;2、熟悉Python开发,熟悉wxpython,熟悉抓取框架,有完整的界面化爬虫平台开发经验;

2、熟悉Python开发,熟悉wxpython,熟悉抓取框架,有完整的界面化爬虫平台开发经验;

3、熟悉Web抓取原理及技术实现细节,对HTTP协议和HTML有深入了解;

4、熟悉数据抓取和整合技术,从结构化和非结构化数据中提取信息;

5、熟悉反爬机制,能够通过逆向js脚本,获取参数,熟悉使用正则表达式/验证码加密处理/代理池,熟悉行为验证码识别、模拟登陆理池,熟悉行为验证码识别、模拟登陆

理池,熟悉行为验证码识别、模拟登陆

职能类别:科研人员

公司介绍

深圳市前海国际人才服务中心成立于2018年1月16日,系深圳市前海管理局局属机构。中心以提升人才服务水平和优化营商环境为使命,创新建设便捷高效的人才服务体系,加快推动国际人才聚集,推进前海全国人才管理改革试验区建设。具体承担前海人才政策的宣传与落实、国际人才的引进与联系服务、人才认定受理与公共服务、人才交流活动等工作。