爬虫开发工程师
深圳前海九慧金服科技有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2016-11-23
- 工作地点:深圳-福田区
- 招聘人数:1人
- 工作经验:2年经验
- 学历要求:本科
- 职位月薪:150000-350000/年
- 职位类别:算法工程师
职位描述
职位描述:
岗位职责:
1、负责网络爬虫的核心技术研究和开发,参与各种核心搜索策略、算法、数据聚类、重组的设计与开发;
2、设计策略和算法,提升网页抓取的效率和质量;
3、分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进。
4、按照数据与业务部门的要求,爬取指定网站数据,并进行本地化存储与初步的清洗。
任职要求:
1、本科以上学历,两年以上爬虫系统开发经验,熟练掌握JAVA编程,熟悉python者优先;
2、熟悉模板和自动页面信息抽取,有网页类型分析者优先;
3、熟悉多线程、高并发;http协议,tcp协议
4、熟悉JS,ajax,网页消重,能够总结分析不同网站,网页的结构特点及规律
5、有分布式爬虫架构,数据挖掘经验者优先;
6、有垂直领域爬虫开发经验者优先。
7、熟悉一种关系型数据库mysql、oracle。
8、熟悉正则表达式、css selector、 xpath。
9、熟悉linux系统
10、熟悉一些基本的网页抽取工具:jsoup
11、熟悉redis、mongodb等
12、熟悉动态代理、反爬策略
举报
分享
岗位职责:
1、负责网络爬虫的核心技术研究和开发,参与各种核心搜索策略、算法、数据聚类、重组的设计与开发;
2、设计策略和算法,提升网页抓取的效率和质量;
3、分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进。
4、按照数据与业务部门的要求,爬取指定网站数据,并进行本地化存储与初步的清洗。
任职要求:
1、本科以上学历,两年以上爬虫系统开发经验,熟练掌握JAVA编程,熟悉python者优先;
2、熟悉模板和自动页面信息抽取,有网页类型分析者优先;
3、熟悉多线程、高并发;http协议,tcp协议
4、熟悉JS,ajax,网页消重,能够总结分析不同网站,网页的结构特点及规律
5、有分布式爬虫架构,数据挖掘经验者优先;
6、有垂直领域爬虫开发经验者优先。
7、熟悉一种关系型数据库mysql、oracle。
8、熟悉正则表达式、css selector、 xpath。
9、熟悉linux系统
10、熟悉一些基本的网页抽取工具:jsoup
11、熟悉redis、mongodb等
12、熟悉动态代理、反爬策略
职能类别: 算法工程师
公司介绍
九慧全称“深圳前海九慧金服科技有限公司”,于2015年1月在深圳前海注册成立,注册资本壹亿元人民币,依托团队多年金融IT及企业服务经验,致力于打造卓越的智慧金融科技(Fintech)平台。
秉承着科技立业的工匠精神,九慧心系社会,致力为中小微企业争取平等的发展权利。利用大数据、人工智能、区块链等信息技术,并辅以线下专业团队,围绕中小微企业的金融需求为主线,通过支持合作金融机构的金融产品与服务创新,助力金融供给侧改革,构建以区域为单位、跨行业的企业赋能合作生态模式。
开发并运营深圳市级综合性金融服务平台——深圳市创业创新金融服务平台(“深圳金服”)。平台从供给侧引导金融资源支持实体经济发展,为不同发展阶段的企业提供债权和股权融资对接、征信查询、信用评级、融资担保、行业咨询、投融资政策支撑等一站式服务。
九慧整合国内外优质企业服务资源,利用企业大数据以及智能产品匹配等信息技术,打造九慧企服平台,引进优质的政策、财税、法律及知识产权等一系列专业化服务,致力于成为优秀的中小微企业全程一站式服务管家,助力于企业的全方位发展。
秉承着科技立业的工匠精神,九慧心系社会,致力为中小微企业争取平等的发展权利。利用大数据、人工智能、区块链等信息技术,并辅以线下专业团队,围绕中小微企业的金融需求为主线,通过支持合作金融机构的金融产品与服务创新,助力金融供给侧改革,构建以区域为单位、跨行业的企业赋能合作生态模式。
开发并运营深圳市级综合性金融服务平台——深圳市创业创新金融服务平台(“深圳金服”)。平台从供给侧引导金融资源支持实体经济发展,为不同发展阶段的企业提供债权和股权融资对接、征信查询、信用评级、融资担保、行业咨询、投融资政策支撑等一站式服务。
九慧整合国内外优质企业服务资源,利用企业大数据以及智能产品匹配等信息技术,打造九慧企服平台,引进优质的政策、财税、法律及知识产权等一系列专业化服务,致力于成为优秀的中小微企业全程一站式服务管家,助力于企业的全方位发展。
联系方式
- 公司地址:地址:span科技园粤美特大厦19楼1901