北京 [切换城市] 北京招聘

数据采集工程师

上海凭安征信服务有限公司

  • 公司规模:50-150人
  • 公司性质:民营公司
  • 公司行业:互联网/电子商务

职位信息

  • 发布日期:2020-12-28
  • 工作地点:北京-海淀区
  • 招聘人数:若干人
  • 工作经验:2年经验
  • 学历要求:本科
  • 职位月薪:1.5-2万/月
  • 职位类别:数据采集工程师

职位描述

1、负责WEB、APP、小程序等爬虫的开发和数据采集;

2、负责分布式爬虫框架的搭建与运维。

3、负责文本信息提取与结构化。

4、负责数据采集、清洗及数据挖掘。并对数据做自动更新和流转等。

资格要求:

1、计算机相关专业本科学历及以上。

2、熟悉HTTP、TCP等网络协议。了解协议原理及数据抓包、分析。

3、熟悉高并发、高性能的分布式系统的设计及应用,熟悉常用网络协议、数据存储和数据处理技术。

4、熟悉ES、kafka相关工具的应用。

5、掌握Python/JavaScript/GO中的一种或几种。学习相关爬虫架构。

6、熟悉MySQL, PostgresSQL, MongoDB, Redis等常用数据库;数据结构和算法功底扎实。

7、具备良好的沟通和推动能力,主动性强;热爱编程。

职能类别:数据采集工程师

关键字:爬虫,ES,数据

公司介绍

上海凭安征信服务有限公司(以下简称“凭安信用”)是经人民银行上海总部备案的企业征信机构,创始团队拥有超过十六年互联网信用领域从业经验,自创立之初就得到了工信部、发改委、国家网络安全与信息化小组办公室、上海市公安局、上海市经信委等机构的大力支持。
凭安信用多年来聚焦于大数据信用产品的研发和服务,以大数据和互联网技术为支撑,持续深耕可信互联网业务创新,于2015年受委托成为国家市场监督管理总局(原国家工商行政管理总局)“全国网络交易平台监管服务系统”联合建设单位,2016年正式成为国家发改委电子商务行业信用建设官方合作征信机构,同年与国家公共信用信息中心数据实现互联互通。
目前,凭安信用已经形成互联网智慧信用监管、大数据征信服务、中小企业信用档案建设等多个稳定业务模块,在上海、北京、浙江等多地设立了分支机构,累计服务近百家政府机构、十万余家企业用户。
客户案例
政府机构:国家发改委、国家公共信用信息中心、国家商务部、国家市场监督管理总局(原国家工商行政管理总局)、各级地方政府及市场监督管理部门
互联网行业: 360、淘宝、京东等知名互联网企业;
金融行业:银行、消金、P2P、保险、电商、基金证券、租赁等多类金融细分领域客户。

联系方式

  • 公司地址:地址:span北京市海淀区海淀北二街8号中关村soho815室