上海招聘

职位信息：

1. 参与核心爬虫系统/解析系统架构设计、数据库设计；

2. 设计各种策略和算法，提升抓取效果；

3. 解决网页抓取，信息抽取等问题，构建高可用性，高扩展性网络信息采集平台；

4. 对互联网海量业务数据进行整合、分析挖掘；

5. 解决封账号，封IP采集等难点攻克。

任职要求：

1、精通爬虫相关技术，如：httpClient/jSoup/xpath/正则表达式/验证码加密处理/代理池等

2、有扎实的计算机基础、熟悉常用数据结构，具有实际爬虫开发经验

3、至少熟练掌握Java／Python其中一种语言，良好的编码风格及编码能力

4、掌握常用数据库（如：MySQL，Mongodb）及相应DDL/DML，熟悉索引及常规SQL调优

5、掌握常用开发管理工具及应用服务器，如：Eclipser、Maven、Git/SVN、Tomcat、Nginx等

6、熟悉行为验证码识别、模拟登陆、数据清洗、去重、入库等

7、熟悉HTTP协议，掌握HTML/CSS/JS/JQUERY/AJAX等相关知识

8、熟悉ActiveMQ、Zookeeper、Redis等分布式和NoSQL技术

9、了解Linux系统及Linux常用命令

10、了解Hadoop、HBase、KAFKA等大数据相关知识

11、有运营商网站爬取或逆向经验尤佳

12、熟悉js加密，了解python常见执行js方法，如pyv8

13、有过工商网、文书网、商标网、专利网等网站爬虫经验优先

14、会构建ip池,使用ip接口，有系统性大数据抓取项目,优先考虑

“数据翎”由上海睿翎法律咨询服务有限公司投资创立，目前已开发1.4亿的工商以及其他41项维度数据，依托于海量企业工商数据，结合商标、专利、裁判文书等多种行业数据库资源的大数据系统，根据自主研发大数据算法，通过知识产权以及工商企业注册信息中多维度信息还原商业合作伙伴的关联信息，同时我们还开发知识产权类数据算法，查找恶意抢注知识产权行为的关联人信息提供可能。“数据翎”致力为境内外投资人、商业律师、会计师等专业人仕公司提供商业合作、诉前调查等一站式的互联网服务线上核查、线下实地核实服务。
网站： *****************