上海招聘

加入我们，你需要做的：

1. 负责数据平台的数据采集与爬取、解析处理、入库及备份等数据日常工作；

2. 数据采集工具软件平台的开发、测试工作；

3. 负责分析新的数据需求, 完成数据处理的设计(文档)和实现；

4. 负责数据的清洗、整理、整合及合并等工作；

5. 负责数据处理程序设计框架改善, 数据处理性能优化, 系统数据处理的能力提高；

6. 实时监控爬虫的进度和警报反馈。

要在这个角色中脱颖而出，你需要具备：

1. 本科以上学历，3年以上开发经验，其中2年以上爬虫开发经验；

2. 熟悉Linux，精通Python；

3. 熟悉http协议，有网络编程经验；

4. 熟悉Javascript，html，css，熟悉AJAX；

5. 精通网页抓取原理和相关技术，了解常见的反扒机制；

6. 熟悉python爬虫框架 scrapy, scrapy-redis, selenium, phantomjs；

7. 熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验；

8. 熟练使用MySQL数据库，掌握redis、mongodb、hive等常用nosql技术并具有实战经验；

9. 学习能力强，工作负责认真，具有强烈的进取精神和乐观的工作态度。

如果你更加优秀，我们热情欢迎：

1. 有大数据、互联网公司工作经验优先；

2. 有ETL设计、数据仓库设计、维度设计、数据挖掘工具者优先考虑。

上海晏鼠计算机技术有限公司http://www.molesoft.cn/于2001年在上海复旦科技园成立，是经上海市认证的双软企业，注册资金2000万，以信息技术在自动化和信息化领域的应用为目标的专业化数据分析公司。

公司拥有超强的信息集成能力，可以为用户提供管理控制一体化的信息平台，为生产、经营、管理各领域提供决策支持的数据分析服务。公司目前主要服务于国家机关、事业单位和国有企业。我们已拥有10年的信息技术服务经验，2011年我们成为淘宝数据平台的合作伙伴，开发了基于“云架构”的专利产品，现已在淘宝官方平台服务于淘宝卖家。在这信息发达的时期，希望数据能帮企业掌舵把握航行方向，我们希望能成为企业和卖家的数据方向的领路人。