北京招聘

职位描述：
岗位职责：
1、负责传统网页信息采集与正确解析；
2、负责网页爬虫架构设计与核心技术研发，设计爬虫策略和防屏蔽规则，维护及数据异常的跟踪处理；
3、负责互联网资源的特征挖掘，主要对网页特征、站点结构、资源变化趋势等进行数据分析和特征建模；
4．设计策略和算法，提升网页抓取的效率和质量，优化网络爬取性能和质量，解决系统的网页排重、垃圾控制、资源划分等问题；
5、负责网络爬虫平台的维护工作
 
 
岗位要求
1、本科及以上学历计算机相关专业，3年以上Java、python开发经验，熟悉常用的信息抓取策略和数据重组算法；
2、熟悉Python或者JAVA语言，熟悉网络编程；
3、熟悉关系型数据库的开发和了解Mongodb、HBase、HIVE等NoSQL数据库；
4、熟悉大规模网页爬取，深度网页爬取，熟悉Nutch、Scrapy、Heritrix、Sphinx等工具
5. 有分布式大型爬虫抓取经验，有App、社交媒体、知乎等爬虫相关经验；
6. 擅长爬虫策略和防屏蔽规则，提升网页抓取的效率和质量，并且插入到数据库；
7. 熟悉linux、会用shell编写脚本。
 
加分项
1. 在专业的爬虫公司，如八爪鱼、神箭手等平台开发经验优先；
2. 开发过通用爬虫系统； 举报 分享

上海乐融金融信息服务有限公司是一家总部位于上海陆家嘴的高科技互联网金融公司。公司创始团队由中国和美国顶尖的金融、互联网和网络金融人才组成。公司已经获得世界著名的风险投资基金的资金支持。公司致力于利用互联网技术和大数据全方位转变金融服务，把信用体系、风险评估、普惠金融以及财富管理推向一个崭新的高度。公司依赖于其专家团队在国内和国外互联网金融的成功业绩、传统银行业的丰富经验以及互联网行业的深刻洞察力，为互联网金融业态的健康发展提供一个全新的视角和创新的商业模式。我们欢迎互联网和金融业有理想有抱负的有志之士加入上海乐融，和我们一道，为打造互联网金融业的行业标杆，留下坚实的创新足迹。