爬虫开发工程师
上海银沛数据管理有限公司
- 公司规模:150-500人
- 公司性质:合资
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2017-12-04
- 工作地点:上海-徐汇区
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1.5-2.5万/月
- 职位类别:互联网软件开发工程师
职位描述
职位描述:
岗位职责:
1、参与爬虫系统的架构设计与开发,搭建数据采集平台,建立爬虫系统,通过对数据的抓取、解析、调度、存储等模块的拆分与优化,构建和完善统一的抓取服务平台;
2、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析;
3、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;
4、能独立解决实际开发过程碰到的各类问题;
5、负责为各个业务线提供垂直,精准的数据采集,抽取,存储服务;
任职条件:
1、计算机及相关专业本科及以上学历,3年以上的爬虫程序设计开发经验;
2、熟练掌握一门主流语言的爬虫框架(Java 的 Nutch, Python 的 Scrapy等);
3、熟悉 Http 协议的基本原理,了解 Http 协议交互的流程,明白大部分 http head的作用与意义,熟悉nutch,httpclient,jsoup等工具;
4、熟练掌握 Javascript, 熟悉大部分的主流前端框架和模板技术,能够熟练使用 XPath 对 DOM 文档进行查询和解析;
5、精通网页抓取原理及技术,精通正则表达式,从结构化的和非结构化的数据中获取信息;
6、熟练掌握至少一种主流的web抓包,开发工具,熟悉一种关系型数据库,如Mysql、Oracle、MSSQL等;
7、工作踏实认真,思路清晰,有强烈的责任心、优秀的协调沟通能力和团队合作精神。
岗位职责:
1、参与爬虫系统的架构设计与开发,搭建数据采集平台,建立爬虫系统,通过对数据的抓取、解析、调度、存储等模块的拆分与优化,构建和完善统一的抓取服务平台;
2、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析;
3、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;
4、能独立解决实际开发过程碰到的各类问题;
5、负责为各个业务线提供垂直,精准的数据采集,抽取,存储服务;
任职条件:
1、计算机及相关专业本科及以上学历,3年以上的爬虫程序设计开发经验;
2、熟练掌握一门主流语言的爬虫框架(Java 的 Nutch, Python 的 Scrapy等);
3、熟悉 Http 协议的基本原理,了解 Http 协议交互的流程,明白大部分 http head的作用与意义,熟悉nutch,httpclient,jsoup等工具;
4、熟练掌握 Javascript, 熟悉大部分的主流前端框架和模板技术,能够熟练使用 XPath 对 DOM 文档进行查询和解析;
5、精通网页抓取原理及技术,精通正则表达式,从结构化的和非结构化的数据中获取信息;
6、熟练掌握至少一种主流的web抓包,开发工具,熟悉一种关系型数据库,如Mysql、Oracle、MSSQL等;
7、工作踏实认真,思路清晰,有强烈的责任心、优秀的协调沟通能力和团队合作精神。
职能类别: 互联网软件开发工程师
公司介绍
上海银沛数据管理有限公司是“物银通”平台的开发、运营商,成立于2014年。
随着互联网技术和应用的普及,实时采集企业生产、采购、销售的全过程数据已日渐成熟,物银通通过长达一年的研发,完成了针对中小企业ERP及其供应链生产的全程数据采集方法及专用技术,并利用大数据分析功能和完善的风控模型,对企业运营进行实时和历史分析,从而获取企业数据增信模型,进而使企业在线获取银行贷款的审批和发放,彻底解决了银企信息不对称和中小企业融资难的问题。
通过对企业积累的经营、市场、财务等方面的数据,物银通同时对企业进行综合评估,形成企业在线信用标志--“物银通--罗杰斯指数”,并通过线上渠道,向生产供应链中的上下游客户输出其企业信息和信用,辅助企业以更快的速度和更低的成本获取新的客户。
物银通将自身定位在中小企业信息整理分析的大数据平台,我们的使命就是通过这一平台为中小企业解决资金需求,继而协助其获得客户,同时也解决了银行与市场的脱节,帮助银行进行市场营销。
随着互联网技术和应用的普及,实时采集企业生产、采购、销售的全过程数据已日渐成熟,物银通通过长达一年的研发,完成了针对中小企业ERP及其供应链生产的全程数据采集方法及专用技术,并利用大数据分析功能和完善的风控模型,对企业运营进行实时和历史分析,从而获取企业数据增信模型,进而使企业在线获取银行贷款的审批和发放,彻底解决了银企信息不对称和中小企业融资难的问题。
通过对企业积累的经营、市场、财务等方面的数据,物银通同时对企业进行综合评估,形成企业在线信用标志--“物银通--罗杰斯指数”,并通过线上渠道,向生产供应链中的上下游客户输出其企业信息和信用,辅助企业以更快的速度和更低的成本获取新的客户。
物银通将自身定位在中小企业信息整理分析的大数据平台,我们的使命就是通过这一平台为中小企业解决资金需求,继而协助其获得客户,同时也解决了银行与市场的脱节,帮助银行进行市场营销。
联系方式
- Email:434359140@qq.com
- 公司地址:地址:span普天科技园3C301