深圳招聘python爬虫工程师

python爬虫工程师

岗位职责：

1.负责设计、开发、维护、重构各网站爬虫程序，包括调度、抓取、维护、验证等爬虫工作；

2.根据需求完成网站数据的抓取，包括模拟登录，数据架构设计等核心工作；

3.完成数据的存储和提取等数据库相关操作工作；

4.攻克各种反爬手段，结构化提取和内容分析，包括数据的清洗、分类、存储等工作。

岗位要求：

1.大专及以上学历，相关工作1年及以上；

2.至少掌握 Java/Python/R 等编程语言；

3.有实际爬虫相关经验者有限，熟练使用爬虫开发框架 Scrapy优先；

4.对反爬虫机制有深入研究，验证码、IP、用户名限制等

5.具备一定的数据库相关知识，MySQL优先

软件开发、技术服务、技术咨询；计算机硬件及其辅助设备、机械设备的技术研究与销售；销售：IC卡、标识标牌、电子产品。