Java爬虫开发工程师
悠融资产管理(上海)有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:金融/投资/证券
职位信息
- 发布日期:2017-06-14
- 工作地点:上海-闸北区
- 招聘人数:若干人
- 工作经验:3-4年经验
- 学历要求:大专
- 职位月薪:1.5-2.5万/月
- 职位类别:高级软件工程师
职位描述
职位描述:
岗位职责:
1、负责传统网页信息采集与正确解析;
2、负责网页爬虫架构设计与核心技术研发,设计爬虫策略和防屏蔽规则,维护及数据异常的跟踪处理;
3、负责互联网资源的特征挖掘,主要对网页特征、站点结构、资源变化趋势等进行数据分析和特征建模;
4.设计策略和算法,提升网页抓取的效率和质量,优化网络爬取性能和质量,解决系统的网页排重、垃圾控制、资源划分等问题;
5、负责网络爬虫平台的维护工作。
任职要求:
1、两年以上工作经验,良好的JAVA编程经验,熟悉网络爬虫原理和策略;
2、熟练掌握网页抓取原理及技术、正则表达式、多线程、HTTP协议,能从结构化的和非结构化的数据中获取信息;
3、熟悉爬虫、种子、解析、下载、去重、提取、过滤、调度、DNS cache、异步处理等概念和过程,能够熟练配置解析模板;
4、熟悉Nutch/Heritrix/larbin/HtmlParser/HttpClient/Jsoup中的一种或多种开源技术;
5、能够有效分析并处理技术问题;
6、具备良好的表达和沟通能力
举报
分享
岗位职责:
1、负责传统网页信息采集与正确解析;
2、负责网页爬虫架构设计与核心技术研发,设计爬虫策略和防屏蔽规则,维护及数据异常的跟踪处理;
3、负责互联网资源的特征挖掘,主要对网页特征、站点结构、资源变化趋势等进行数据分析和特征建模;
4.设计策略和算法,提升网页抓取的效率和质量,优化网络爬取性能和质量,解决系统的网页排重、垃圾控制、资源划分等问题;
5、负责网络爬虫平台的维护工作。
任职要求:
1、两年以上工作经验,良好的JAVA编程经验,熟悉网络爬虫原理和策略;
2、熟练掌握网页抓取原理及技术、正则表达式、多线程、HTTP协议,能从结构化的和非结构化的数据中获取信息;
3、熟悉爬虫、种子、解析、下载、去重、提取、过滤、调度、DNS cache、异步处理等概念和过程,能够熟练配置解析模板;
4、熟悉Nutch/Heritrix/larbin/HtmlParser/HttpClient/Jsoup中的一种或多种开源技术;
5、能够有效分析并处理技术问题;
6、具备良好的表达和沟通能力
职能类别: 高级软件工程师
公司介绍
悠融资产管理(上海)有限公司(Urealsoon Assets Management(shanghai)Co.,Ltd.)在国家关于大力促进互联网金融、 小微企业发展的精神指引下,于2013年9月成立的集信用风险评估与管理、信用数据整合服务、小微借款咨询服务与交易促成服务等业务于一体的微金融服务机构。在全国20多个省份100多个城市建立起强大的全国协同服务网络,为客户提供全方位,个性化的金融咨询服务,已然成为国内领先的消费金融资产提供方。
联系方式
- 公司地址:地址:span上海市杨浦区黄兴路1800号东方蓝海国际广场3号楼1111-1112室