上海招聘

1. 负责公司分布式采集平台的开发与维护；

2. 反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设；

3. 海量爬虫数据清洗、解析、处理与挖掘；

4. 团队管理，指导初级爬虫工程师的日常开发工作。

岗位要求：

1. 本科及以上学历，3年以上工作经验，对互联网、移动互联网有浓厚的兴趣，喜欢钻研技术；

2. 熟练掌握 Java，基础扎实。熟悉 Spring/SpringBoot/MyBatis 等主流框架，有分布式、微服务方面架构经验；

3. 熟练掌握 Linux、熟悉至少一种关系型数据库（SQL Server、MySQL等），以及一种 NOSQL（Redis/Elastic等）；

4. 熟悉数据结构、算法、设计模式、HTTP/TCP协议等；

5. 熟悉多线程与分布式架构，对中间件、缓存、消息队列等有一定的了解；

6. 熟悉目前开源的爬虫框架，对分布式爬虫、海量数据采集有深刻的理解；

7. 具有大规模网络爬虫、采集相关工作经验者优先。

上海索思数据科技有限公司致力于互联网+、大数据及互联网信息服务的专业公司，依托自有互联网技术和成熟产品，打造互联网与用户业务深度结合的个性化服务平台，拥有云计算、大数据、自然语言处理等前沿核心技术，具有完善的大数据服务运营体系及快速开发能力，为政府及企业用户提供互联网大数据及舆情服务。