中高级爬虫工程师
中冶赛迪重庆信息技术有限公司
- 公司性质：国企
- 公司行业：计算机软件
职位信息
- 发布日期：2019-01-17
- 工作地点：重庆
- 招聘人数：若干人
- 工作经验：无工作经验
- 学历要求：本科
- 职位月薪：1.2-2.4万/月
- 职位类别：软件工程师
职位描述
岗位职责
(1)参与或负责分布式爬虫系统的架构设计与开发；
(2)负责指定网站页面的抓取和提取处理；
(3)设计爬虫策略及反爬规则，提升抓取效率和稳定性；
(4)研究相关信息来源主要网站及App的反爬机制；
(5)持续优化分布式爬虫系统，提高系统的稳定性及性能。
任职要求
(1) 本科以上学历，计算机相关专业；
(2) 熟练掌握Python开发，扎实的编程功底，熟悉常用的数据结构和算法；
(3) 熟悉任意一种开源爬虫框架，如scrapy、pyspider，熟练掌握多线程、协程开发；
(4) 熟悉Mysql，Redis，Mongdb三者至少之一，有数据库调优和海量数据存储经验优先；
(5) 熟悉常见反爬机制，并能制订相应反反爬策略；
(6) 有验证码识别技术者，有提供Github账号者优先；
(7) 3年及以上爬虫相关工作经验。
职能类别： 软件工程师
公司介绍
赛迪集团
联系方式
- Email：JOB@cisdi.com.cn