上海招聘

岗位职责：

1.负责分布式抓取平台的核心技术研发，通过对抓取、解析、调度、存储等模块的拆分与优化，构建和完善统一的抓取服务平台；

2.负责爬虫需求的分析与梳理，完成方案的详细设计与实现，持续优化产品与系统架构，提供疑难技术的解决方案；

3.负责垂直领域数据爬取，进行多平台信息分析，保障产品丰富、优质的内容源。

任职要求：

1.计算机及相关专业本科及以上学历，3年以及以上爬虫开发、内容提取工作经验；

2.精通至少一种开发语言，如Java、Python，熟悉Linux系统、Shell等脚本语言，熟练掌握正则表达式；

3.熟练掌握一种开源爬虫框架，如scrapy、webmagic、nutch、heritrix等，有研发爬虫框架经验者优先；

4.熟悉高并发、高性能的分布式系统的设计及应用，有数据库调优、海量数据存储与处理经验者优先；

5.对网络通信、TCP协议有较为深入的理解，有相关安全领域经验者优先；

6.逻辑思维缜密，善于独立分析并解决核心问题，如爬虫策略、防屏蔽规则、数据破解策略、App爬取、死链检测、验证码识别技术等；

7.对常规统计分析有一定的理解，有数据挖掘相关工作经验者优先；

8.熟悉Hadoop、Spark、Hive等大数据处理工具者优先；

9.具有创新思维，学习能力强，有一定的抗压能力，善于沟通和团队协作，乐于分享。

互联网广告，吃喝玩乐的平台公司目标：吃喝玩乐领域的今日头条（推荐用户想吃的想玩的）。
团队背景：创始团队在网赚领域有丰富的经验和成功积累，做过国内最大积分墙软件（钱咖，5000万用户 60万日活）以及丰富的广告资源、流量资源，希望借鉴趣头条（新闻+网赚）商业模式上的成功，以大众点评+网赚为切入点，深耕内容质量和推荐算法。

团队文化：愿意分享，合作共赢。