广州招聘

岗位职责：

1. 负责分布式网络爬虫系统的架构设计与开发；

2. 互联网站、网页、链接的特征挖掘，根据业务要求负责抓取互联网各种形式数据，如网页、pdf、word等数据抓取、数据提取、清洗、入库；

3. 负责爬虫核心算法的策略优化研究，充分利用资源，提升网页抓取的效率和质量；

4. 优化搜索、匹配、抓取等关键程序的性能及效率；

5. 爬取房地产相关网页、pdf等形式数据，能够总结分析不同网站的结构特点与规律；

6. 进行技术分享与培训。

任职要求：

1. 2年以上爬虫开发相关经验，有大规模网络爬虫开发经验优先；

2. 精通Python；

3. 熟悉多线程、网络编程，精通网页抓取原理及技术，精通正则表达式，能从结构化的和非结构化的数据中获取信息；

4. 熟悉爬虫、种子、去重、提取、过滤、分发、DNS cache、异步处理等概念和过程；

5. 具备信息检索、web挖掘等搜索引擎相关知识，有从事网络爬虫、网页去重、网页信息抓取、网页分类中任一种程序开发经验；

6. 熟练使用数据库，至少精通一种关系型数据库的开发，掌握Redis、MongoDB、Hive等常用NoSQL技术并具有实战经验，熟悉 hadoop 者优先；

7. 精通一种开源爬虫框架，如Scrapy、Webmagic、Nutch、Heritrix等，有开发爬虫框架经验优先；

8. 熟悉反爬虫、验证码识别、图像识别等技术优先；

9. 具有文本分析、数据挖掘、自然语言处理、信息检索、机器学习背景者优先；

10. 精通Java或 C++ 语言优先。

   “中地会”全称“中国地产资信强企交流会”，由地产资信评审会发起成立，主要为广东地产资信 20 强、深圳地产资信 10 强房企，各大金融机构，相关部门，房地产相关企事业单位，及相关专家学者等提供的内部交流、学习的公益性平台，以促进我国房地产业健康持续发展。

中地会十大核心服务：
(1) 定期提供《高层决策》，《房地产数据报告》，工作日提供《早晨快讯》，建设数据平台，为理事单位提供数据服务；
(2) 举办各项专题活动，如高层座谈会、高峰论坛、商务考察；
(3) 举办各项交流活动，如总裁沙龙、银企交流会，组织理事成员之间参观考察；
(4) 开展联谊联赛活动，联络感情、增进共识；
(5) 金融政策咨询，融资、担保、发债等服务；
(6) 有关金融机构的多项理财服务及各项优惠政策；
(7) 项目合作、兼并、收购、转让等信息；
(8) 为理事成员开辟特殊服务通道；
(9) 尊享国内外其他高端机构合作而获得的各项尊贵服务；
(10) 另外委托中地会承办的其他事项。