Python爬虫开发工程师
深圳市前海国际人才服务中心有限公司
- 公司性质:事业单位
- 公司行业:专业服务(咨询、人力资源、财会)
职位信息
- 发布日期:2019-11-24
- 工作地点:深圳
- 招聘人数:5人
- 工作经验:无工作经验
- 学历要求:硕士
- 职位类别:科研人员
职位描述
工作职责:
1、专注于垂直领域数据爬取,进行多平台信息的抓取和分析;
2、负责数据抓取平台规划和建设,完成数据采集与爬取、解析处理和入库;
3、参与爬虫系统的架构设计与开发,提升网页抓取的效率和质量、定向爬取、深度提取和挖掘;
4、破解各类反爬机制,能独立解决实际开发过程中碰到的各类问题;
5、研究优化爬虫算法,提升爬虫系统的稳定性、可扩展性。
职位要求:
1、计算机相关专业,本科以上学历,2年以上爬虫领域工作经验,1年以上爬虫团队合作经验;2、熟悉Python开发,熟悉wxpython,熟悉抓取框架,有完整的界面化爬虫平台开发经验;
2、熟悉Python开发,熟悉wxpython,熟悉抓取框架,有完整的界面化爬虫平台开发经验;
3、熟悉Web抓取原理及技术实现细节,对HTTP协议和HTML有深入了解;
4、熟悉数据抓取和整合技术,从结构化和非结构化数据中提取信息;
5、熟悉反爬机制,能够通过逆向js脚本,获取参数,熟悉使用正则表达式/验证码加密处理/代理池,熟悉行为验证码识别、模拟登陆理池,熟悉行为验证码识别、模拟登陆
理池,熟悉行为验证码识别、模拟登陆
职能类别:科研人员
公司介绍
深圳市前海国际人才服务中心成立于2018年1月16日,系深圳市前海管理局局属机构。中心以提升人才服务水平和优化营商环境为使命,创新建设便捷高效的人才服务体系,加快推动国际人才聚集,推进前海全国人才管理改革试验区建设。具体承担前海人才政策的宣传与落实、国际人才的引进与联系服务、人才认定受理与公共服务、人才交流活动等工作。