重庆招聘

岗位职责：

1、 负责爬虫系统的设计、开发，以及网页抓取的效率和质量优化；

2、 负责对目标网站进行数据爬取分析，找到最优化的爬取策略；

3、 负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量（如调权调度、分析预测、质量判断、封禁与反封禁研究等）；

4、 通过机器学习、深度学习等技术，建立数据挖掘模型，解决实际业务问题；

5、 负责大规模数据爬虫的性能优化、监控和报警，提高爬虫产品的稳定性和抓取效率；

6、 负责技术难点的攻克。

职位要求：

1、 计算机或相关专业本科以上学历，8年以上爬虫工作经验；

2、 精通Python语言特点及运行机制；

3、 精通LNMP架构，有较强的架构能力和良好代码规范； 

4、 熟练掌握Python主流爬虫架构，精通Django架构；

5、 熟练掌握正则表达式、XPath、CSS等网页信息抽取技术；

6、 熟悉常见反爬机制，验证码识别，IP代理池、应用Ip池、headers认证和cookie等；

7、 熟练掌握应用Selenium+PhantomJS实施动态HTML抓取；

8、 熟悉熟练使用http代理工具charles、fiddler等；

9、 熟练掌握Linux平台开发，能独立安装、配置、搭建开发环境，编写shell脚本；

10、 精通Postpresql，Oracle，mysql等关系数据库；

11、 熟悉mongodb/hadoop、redis、rabbitMQ、kafka、zookeeper 等具有项目经验；

12、 熟悉自然语言处理、有一定算法功底，有python舆情产品、爬虫项目经验者优先；

13、 能承受一定的工作压力，有责任心、上进心，具备良好的自学能力和独立解决问题能力。

天宇正清科技有限公司（简称“天宇正清”）2006年成立于中关村高科技园区（德胜科技园）。
我们坚持以客户满意为目标，强调质量至上，精益求精。公司通过了国家高新技术企业认证、中关村高新企业认证、ISO9000质量管理体系认证、ISO14000环境体系认证、ISO18000安全体系认证以及ISO20000信息技术服务认证等。
公司致力于为通信、能源、房地产和金融等行业提供具有竞争力的通信、IT技术、系统集成解决方案。以人为本构建流程管理和质量保证体系驱动的管理架构，借鉴国际知名企业管理经验及软件服务市场特点，拥有多名高级管理成员和资深技术团队，在通信、IT技术、系统集成服务领域不断探索和发展，成为业界领先的通信、IT技术、系统集成综合解决方案服务提供商。
天宇正清现有员工400余人，90%以上人员拥有大学本科及以上学历。与多所大学院校建立了校企合作关系，在为毕业生提供实训基地的同时，也为转化相关的科研成果建立了良好的渠道。公司业务区域覆盖全国十余省市，并在相关区域设立分公司及办事机构。
我们的主要合作伙伴：中国移动设计院、中国移动物联网公司、中移全通系统集成公司、中移铁通有限公司、中国普天集团、上海大唐移动、神华和利时信息公司、远洋集团、万达集团、泰禾集团、中国网络电视台、玖富集团等。