上海招聘

一、岗位资格

1.性别要求：□男 □女 ?不限

2.年龄要求：25-35岁

3.学历要求：□大专及以上 ?本科及以上 □硕士及以上 □博士

4.专业要求：精通Python语言， 有过Python相关的开发经验，懂php语言；

5.经验要求：三年以上开发经验；

6.其他要求：熟悉各大电商平台，如淘宝，京东、拼多多等；

7.工作职责：

1、参与/负责开发分布式爬虫框架，管理分布式爬虫服务器，开发任务调度引擎；

2、负责设计和开发分布式网络爬虫，进行多平台、多终端信息的抓取和分析；

3、设计爬虫策略和防屏蔽规则，解决封账号、封IP、验证码等难点攻克；

4、系统解决动态网页内容抓取、深度网页内容抓取、API接口数据爬取；

5、实现大规模文本数据的抓取及数据清洗工作；

二、任职要求

1、 本科及以上学历，计算机等相关专业， 3年及以上工作经验；

2、 精通Python语言， 有过Python相关的开发经验，懂php语言；

3、 熟悉网页抓取原理及技术，能够总结分析不同网站，网页的结构特点及规律；

4、 熟悉常用的Python爬虫框架以及其分布式爬取开发；

5、 熟悉反爬策略的应对，能够解决封账号、封IP采集等问题；

6、 熟悉Python Web框架，比如Django，Flask，熟悉MVC框架开发；

7、 熟悉微服务和接口开发，熟悉HTTP和WebSocket协议；

7、 熟悉MySQL/Redis/MongoDB等数据库，有过数据库调优和海量数据存储经验者优先；

8、 熟悉各大电商平台，如淘宝，京东、拼多多等；

9、 熟悉Linux操作系统，熟练编写bash脚本；

10、熟悉分布式、微服务、高性能Web服务的开发，有一定的系统架构设计能力者优先；

电商之家创立于2015年8月，是中国首家权威电商行业门户网站，隶属于无锡电商之家网络科技有限公司，总部位于无锡。成立多年来,电商之家秉承”公平、公正、公开”的原则,为电商行业参与者与关注者提供价值资讯、数据、报告、UGC原创、电商工具及个性化服务,在专业研究、行业数据、原创内容、用户人气和创新服务等方面始终稳居行业领先地位。