广州招聘

爬虫逆向工程师

岗位职责：

1. 负责数据产品平台爬虫系统的设计、研发与维护；

2. 设计爬虫策略与算法，提升抓取效果；

3. 持续优化系统，提高系统的稳定性及性能。

 任职要求：

1. 熟悉 Python，有较丰富的爬虫系统开发经验及逆向破解经验优先；

2. 熟悉常用的数据结构和算法，熟悉常见设计模式；

3. 熟悉网络编程（TCP/HTTP 协议），具有 Linux 下编程经验和操作经验；

4. 能够解决反爬虫、网络异常等各种常见爬虫问题；

5. 了解分布式系统的设计与实现，有自动化测试经验；

6. 熟悉 Kafka/Storm/Hadoop/Spark/HBase 等大数据相关技术；

7. 优秀的分析、解决问题能力，对处理未知的、挑战性问题充满激情；

8. 良好的沟通能力和团队合作精神。

微信分享