上海招聘

1.负责公司数据源抓取需求，满足公司对多源数据采集要求；

2.负责开发分布式爬虫框架，管理分布式爬虫服务器，开发任务调度引擎；

3.负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量，提升网页抓取的效率和质量；

4.设计爬虫策略和防屏蔽规则，解决封账号、封IP、验证码等难点攻克；

5.参与公司底层数据有关的平台、工具建设。

任职要求：

1.本科及以上学历，计算机等相关专业， 5年及以上工作经验；

2. 精通Python语言， 至少3年Python相关的开发经验；

3.有Python分布式抓取系统的开发、架构经验；

4.有海量数据爬取、解析、清洗、存储相关项目经验

5.熟悉网页抓取原理及技术，能够总结分析不同网站，网页的结构特点及规律；

6. 熟悉反爬策略的应对，能够解决封账号、封IP采集等问题；

7.熟悉linux系统环境；

8.熟悉Mysql、redis等数据库，有过数据库调优和海量数据存储经验者优先。

思勃咨询Smart Path是专业监测中国网络购物市场的公司。从公司2008年成立以来我们一直专注于监测中国网购市场，目前是市场上***一家提供各品类网购市场深度数据的公司。思勃提供行业规模，增长率，价格，品牌占比，子品类占比，消费者解读等分析数据。服务包括网购季度报告、网购专题调研、网购定制监测服务等。监测的行业包括化妆品，婴幼儿产品，运动产品，电子电器，个人护理，服装等等，近50个行业。我们的客户包括中国市场上著名的世界500强企业、领先的中资公司、专业服务公司(证券公司、咨询公司),投资机构(PE/VC)等。
    
如果你正在寻找一份充满活力的工作，并希望融入中国互联网和电子商务发展的大潮，请考虑思勃。作为思勃的一员，你将有充分的机会贡献所长和学习成长，并且依托思勃广泛的行业覆盖，开创出的广阔的职业路径。

欢迎访问我们公司网站 ****************** 了解更多信息！