JAVA爬虫工程师
上海融道网金融信息服务有限公司
- 公司规模:500-1000人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2017-06-24
- 工作地点:上海-浦东新区
- 招聘人数:2人
- 工作经验:3-4年经验
- 学历要求:大专
- 职位月薪:1-2万/月
- 职位类别:软件工程师
职位描述
职位描述:
1、负责传统网页信息采集与正确解析;
2、负责网页爬虫架构设计与核心技术研发,设计爬虫策略和防屏蔽规则,维护及数据异常的跟踪处理;
3、负责互联网资源的特征挖掘,主要对网页特征、站点结构、资源变化趋势等进行数据分析和特征建模;
4.设计策略和算法,提升网页抓取的效率和质量,优化网络爬取性能和质量,解决系统的网页排重、垃圾控制、资源划分等问题; 5、负责网络爬虫平台的维护工作。
任职要求:
1、两年以上工作经验,良好的JAVA编程经验,熟悉网络爬虫原理和策略;
2、熟练掌握网页抓取原理及技术、正则表达式、多线程、HTTP协议,能从结构化的和非结构化的数据中获取信息;
3、熟悉爬虫、种子、解析、下载、去重、提取、过滤、调度、DNS cache、异步处理等概念和过程,能够熟练配置解析模板;
4、熟悉Nutch/Heritrix/larbin/HtmlParser/HttpClient/Jsoup中的一种或多种开源技术;
5、能够有效分析并处理技术问题;
6、具备良好的表达和沟通能力
举报
分享
1、负责传统网页信息采集与正确解析;
2、负责网页爬虫架构设计与核心技术研发,设计爬虫策略和防屏蔽规则,维护及数据异常的跟踪处理;
3、负责互联网资源的特征挖掘,主要对网页特征、站点结构、资源变化趋势等进行数据分析和特征建模;
4.设计策略和算法,提升网页抓取的效率和质量,优化网络爬取性能和质量,解决系统的网页排重、垃圾控制、资源划分等问题; 5、负责网络爬虫平台的维护工作。
任职要求:
1、两年以上工作经验,良好的JAVA编程经验,熟悉网络爬虫原理和策略;
2、熟练掌握网页抓取原理及技术、正则表达式、多线程、HTTP协议,能从结构化的和非结构化的数据中获取信息;
3、熟悉爬虫、种子、解析、下载、去重、提取、过滤、调度、DNS cache、异步处理等概念和过程,能够熟练配置解析模板;
4、熟悉Nutch/Heritrix/larbin/HtmlParser/HttpClient/Jsoup中的一种或多种开源技术;
5、能够有效分析并处理技术问题;
6、具备良好的表达和沟通能力
职能类别: 软件工程师
关键字: Java 爬虫 互金行业
公司介绍
上海融道网金融信息服务有限公司成立于2009年7月,是国内较早的互联网金融信息服务公司,公司创立的初衷是提升全社会资金融通效率、降低融资成本,破解融资难、融资贵,促进公平金融,借助互联网方式践行普惠金融。公司致力于打造规范化、阳光化、专业化金融信息服务平台,服务实体经济。
从2009年开始,融道网以100万注册资金起步,2011年完成天使轮融资、2014年完成A轮融资、2015年底成B轮融资,2018年5月先后与上汽旗下安悦充电、安吉租赁达成战略合作。更令我们自豪的是,公司拥有深厚的国资背景:我们A轮投资方上海科技创业投资公司,以及B轮投资方上汽集团、仪电集团等旗下基金都是战略投资人,他们给融道网带来的不仅仅是资金投入,更重要的是背后的品牌实力、业务支持、社会资源等。
在网贷之家的排名中,我们最高全国排名达17位,在国资系中排名全国第2位,上海本地行业内排名前5。另外,我们运作的宝山区中小微企业融资服务平台在2013-2017年,共为413家次宝山区中小微企业,完成融资6.50亿元。也正是在服务实体经济方面的努力,融道网于2015年获得了上海市政府颁发的“2014年度金融创新成果奖提名奖”,成为首批获得该奖项的非持牌机构和互联网金融企业。2013年8月,凤凰卫视报道该平台,称之为“互联网金融探路者”;2016年日本国家电视台NHK以“巨龙中国”大型记录片第二集近1个小时的篇幅报道了该平台如何服务实体经济。
在崭新的2018年,在互联网金融方面,我们将围绕“系统”、“风控”、“资金”三大核心任务,坚信“科技改变金融,金融改变世界”,继续巩固和拓展在移动金融方面的布局,向着行业前十的目标进发。
我们深信:只要融道网所有员工秉持“唯变不变”的宗旨、拥抱变化、拥抱未来、团结协作、永续创新,他们今天辛勤努力在不远的将来一定会能获得千百倍的回报。
从2009年开始,融道网以100万注册资金起步,2011年完成天使轮融资、2014年完成A轮融资、2015年底成B轮融资,2018年5月先后与上汽旗下安悦充电、安吉租赁达成战略合作。更令我们自豪的是,公司拥有深厚的国资背景:我们A轮投资方上海科技创业投资公司,以及B轮投资方上汽集团、仪电集团等旗下基金都是战略投资人,他们给融道网带来的不仅仅是资金投入,更重要的是背后的品牌实力、业务支持、社会资源等。
在网贷之家的排名中,我们最高全国排名达17位,在国资系中排名全国第2位,上海本地行业内排名前5。另外,我们运作的宝山区中小微企业融资服务平台在2013-2017年,共为413家次宝山区中小微企业,完成融资6.50亿元。也正是在服务实体经济方面的努力,融道网于2015年获得了上海市政府颁发的“2014年度金融创新成果奖提名奖”,成为首批获得该奖项的非持牌机构和互联网金融企业。2013年8月,凤凰卫视报道该平台,称之为“互联网金融探路者”;2016年日本国家电视台NHK以“巨龙中国”大型记录片第二集近1个小时的篇幅报道了该平台如何服务实体经济。
在崭新的2018年,在互联网金融方面,我们将围绕“系统”、“风控”、“资金”三大核心任务,坚信“科技改变金融,金融改变世界”,继续巩固和拓展在移动金融方面的布局,向着行业前十的目标进发。
我们深信:只要融道网所有员工秉持“唯变不变”的宗旨、拥抱变化、拥抱未来、团结协作、永续创新,他们今天辛勤努力在不远的将来一定会能获得千百倍的回报。
联系方式
- 公司地址:地址:span上海市浦东新区浦电路489号由由燕乔大厦15楼