高级爬虫工程师
数库(上海)科技有限公司
- 公司规模:50-150人
- 公司性质:外资(非欧美)
- 公司行业:计算机服务(系统、数据服务、维修)
职位信息
- 发布日期:2019-01-29
- 工作地点:上海-闵行区
- 招聘人数:1人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1.3-2.5万/月
- 职位类别:高级软件工程师 互联网软件开发工程师
职位描述
1、负责数据抓取平台规划和建设,完成数据采集与爬取、解析处理和入库;
2、研究各种网页探寻特点和规律,负责网页信息抽取、数据清洗工作;
3、负责领域知识的定向爬取、深度提取和挖掘;
4、配合数据清洗、整理、去重和合并工作;
5、负责爬虫相关技术的创新和优化。
任职要求:
1、计算机相关专业,2年以上爬虫领域工作经验;
2、熟悉Python、Java或scala,熟悉抓取框架,有分布式、垂直领域开发经验;
3、熟悉Web抓取原理及技术实现细节,对HTTP协议和HTML有深入了解;
4、熟悉数据抓取和整合技术,从结构化和非结构化数据中提取信息;
5、熟悉Redis和NoSQL存储,有数据库调优和海量数据存储经验。
以下经验之一者优先考虑:
1、熟悉搜索相关技术,有自然语言处理、机器学习经验者优先;
2、有摘要提取、大规模网页聚类经验者优先。
职能类别: 高级软件工程师 互联网软件开发工程师
公司介绍
数库成立于2009年,是一家深度聚集自然语言处理技术的金融大数据分析和智能金融服务提供商。从成立至今,我们始终致力于更高效地从纷繁复杂的信息中提取知识,帮助企业提高决策效率。同时,数库以金融大数据引擎为基础,自主研发了一套以NLP为核心的AI技术平台,提供面向多种垂直场景的智能金融解决方案。
2016/2017/2018年 连续三年获得“毕马威中国领先金融科技50强”企业称号
2015年 获得京东金融投资
2011年 获得穆迪投资
2009年 成立于上海
如果您和我们一样秉承人工智能驱动金融创新的使命,欢迎加入!
我们的福利:六险一金、绩效奖金、股票期权、弹性时间、生日礼物、室内健身、技能培训、技术前沿、定期体检、带薪年假等;
更多详情,请登陆官网:******************
AI Powering Financial Innovation
2016/2017/2018年 连续三年获得“毕马威中国领先金融科技50强”企业称号
2015年 获得京东金融投资
2011年 获得穆迪投资
2009年 成立于上海
如果您和我们一样秉承人工智能驱动金融创新的使命,欢迎加入!
我们的福利:六险一金、绩效奖金、股票期权、弹性时间、生日礼物、室内健身、技能培训、技术前沿、定期体检、带薪年假等;
更多详情,请登陆官网:******************
AI Powering Financial Innovation
联系方式
- 公司地址:地址:span民生路235号海航保利大厦35F-A 3567室