爬虫工程师
浙江普树信息科技有限公司
- 公司规模:少于50人
- 公司性质:民营公司
- 公司行业:互联网/电子商务 金融/投资/证券
职位信息
- 发布日期:2017-03-03
- 工作地点:杭州-西湖区
- 招聘人数:1人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:0.8-15万/月
- 职位类别:互联网软件开发工程师
职位描述
职位描述:
岗位描述
1、协助项目经理完成网页采集任务的分析及采集方案的设计。
2、负责网页抓取和信息提取系统的架构设计及算法实现,开发垂直站点分布式抓取程序,实现对各种网页的解析、提取。
3、根据业务需求建立数据仓库,对抓取数据进行清洗等预处理操作。
4、负责系统日常运营资源调度优化,调整抓取策略,提升爬虫效率,实时监控爬虫的进度。
岗位要求
1、本科以上学历,三年以上相关工作经验,计算机相关专业。
2、深入理解Http协议和web登录认证机制,了解网页验证识别等技术,能模拟浏览器操作爬虫,具有多线程编程经验。
3、熟悉各种Web前端技术,了解主流浏览器对html、JavaScript的解析,精通正则表达式,熟练掌握Java、python等编程语言,具备扎实的编码能力,了解Git等版本控制工具。
4、了解全文检索的原理及应用,对中文分词的原理和分词算法有一定的认识。
5、至少熟悉一种关系型数据库的开发,理解数据库原理,对大规模数据库设计,数据存储有一定经验。
6、工作认真踏实,有较强的学习能力和良好的团队协作沟通能力。
举报
分享
岗位描述
1、协助项目经理完成网页采集任务的分析及采集方案的设计。
2、负责网页抓取和信息提取系统的架构设计及算法实现,开发垂直站点分布式抓取程序,实现对各种网页的解析、提取。
3、根据业务需求建立数据仓库,对抓取数据进行清洗等预处理操作。
4、负责系统日常运营资源调度优化,调整抓取策略,提升爬虫效率,实时监控爬虫的进度。
岗位要求
1、本科以上学历,三年以上相关工作经验,计算机相关专业。
2、深入理解Http协议和web登录认证机制,了解网页验证识别等技术,能模拟浏览器操作爬虫,具有多线程编程经验。
3、熟悉各种Web前端技术,了解主流浏览器对html、JavaScript的解析,精通正则表达式,熟练掌握Java、python等编程语言,具备扎实的编码能力,了解Git等版本控制工具。
4、了解全文检索的原理及应用,对中文分词的原理和分词算法有一定的认识。
5、至少熟悉一种关系型数据库的开发,理解数据库原理,对大规模数据库设计,数据存储有一定经验。
6、工作认真踏实,有较强的学习能力和良好的团队协作沟通能力。
职能类别: 互联网软件开发工程师
关键字: 爬虫工程师
公司介绍
浙江普树信息科技有限公司定位为一家从事风控与大数据金融服务的外包服务互联网公司(平台名称“果树金服”),利用移动互联网技术实现对部分传统金融业务服务模式的升级、改造。公司以一家第三方非金融机构的身份介入传统金融机构的部分业务,以创新技术解决传统金融机构自身无法解决的一系列问题。同时有利于公司与金融机构展开全方位的战略合作关系。公司通过承接银行、小贷公司、担保公司、P2P公司的外包业务,帮助此类金融机构改善信息不对称、贷后工作难、诉讼执行拖等方面的短板。最终实现提升金融机构整体风险管控能力和提高业务办理效率,为借贷类机构发展提供竞争砝码。
联系方式
- 公司地址:上班地址:文一西路崇义路口郡原公元里15幢2楼