爬虫架构师
上海凭安征信服务有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2017-10-18
- 工作地点:上海-长宁区
- 工作经验:3-4年经验
- 职位月薪:1.2-2.4万/月
- 职位类别:系统架构设计师 高级软件工程师
职位描述
职位描述:
岗位职责:
1. 负责设计和开发分布式的网络爬虫应用,进行互联网相关信息的抓取和分析;
2. 负责网页信息抽取技术的研究和开发;
3. 负责解决爬取过程中的各种反爬问题;
4. 负责数据抓取,数据清洗,数据架构开发维护等工作
任职要求:
1.3年以上工作经历,有互联网搜索相关领域2年以上经验;
2. 精通JAVA/Python等编程语言,熟悉linux平台、shell编程;
3. 熟练掌握数据库开发,对数据处理和数据质量有较深认识;精通至少一种主流数据NoSQL、mysql数据库;
4.对搜索引擎爬虫系统有深入研究和丰富的经验,有海量数据抓取、处理的丰富经验;
5.对主流爬虫架构有深入研究,具有成熟爬虫工具的设计及运维经验;
6.优秀的执行力,面对挑战,能快速决策分析,调动资源集中突破。
岗位职责:
1. 负责设计和开发分布式的网络爬虫应用,进行互联网相关信息的抓取和分析;
2. 负责网页信息抽取技术的研究和开发;
3. 负责解决爬取过程中的各种反爬问题;
4. 负责数据抓取,数据清洗,数据架构开发维护等工作
任职要求:
1.3年以上工作经历,有互联网搜索相关领域2年以上经验;
2. 精通JAVA/Python等编程语言,熟悉linux平台、shell编程;
3. 熟练掌握数据库开发,对数据处理和数据质量有较深认识;精通至少一种主流数据NoSQL、mysql数据库;
4.对搜索引擎爬虫系统有深入研究和丰富的经验,有海量数据抓取、处理的丰富经验;
5.对主流爬虫架构有深入研究,具有成熟爬虫工具的设计及运维经验;
6.优秀的执行力,面对挑战,能快速决策分析,调动资源集中突破。
职能类别: 系统架构设计师 高级软件工程师
关键字: 网站架构 系统架构 java Python 爬虫
公司介绍
上海凭安征信服务有限公司(以下简称“凭安信用”)是经人民银行上海总部备案的企业征信机构,创始团队拥有超过十六年互联网信用领域从业经验,自创立之初就得到了工信部、发改委、国家网络安全与信息化小组办公室、上海市公安局、上海市经信委等机构的大力支持。
凭安信用多年来聚焦于大数据信用产品的研发和服务,以大数据和互联网技术为支撑,持续深耕可信互联网业务创新,于2015年受委托成为国家市场监督管理总局(原国家工商行政管理总局)“全国网络交易平台监管服务系统”联合建设单位,2016年正式成为国家发改委电子商务行业信用建设官方合作征信机构,同年与国家公共信用信息中心数据实现互联互通。
目前,凭安信用已经形成互联网智慧信用监管、大数据征信服务、中小企业信用档案建设等多个稳定业务模块,在上海、北京、浙江等多地设立了分支机构,累计服务近百家政府机构、十万余家企业用户。
客户案例
政府机构:国家发改委、国家公共信用信息中心、国家商务部、国家市场监督管理总局(原国家工商行政管理总局)、各级地方政府及市场监督管理部门
互联网行业: 360、淘宝、京东等知名互联网企业;
金融行业:银行、消金、P2P、保险、电商、基金证券、租赁等多类金融细分领域客户。
凭安信用多年来聚焦于大数据信用产品的研发和服务,以大数据和互联网技术为支撑,持续深耕可信互联网业务创新,于2015年受委托成为国家市场监督管理总局(原国家工商行政管理总局)“全国网络交易平台监管服务系统”联合建设单位,2016年正式成为国家发改委电子商务行业信用建设官方合作征信机构,同年与国家公共信用信息中心数据实现互联互通。
目前,凭安信用已经形成互联网智慧信用监管、大数据征信服务、中小企业信用档案建设等多个稳定业务模块,在上海、北京、浙江等多地设立了分支机构,累计服务近百家政府机构、十万余家企业用户。
客户案例
政府机构:国家发改委、国家公共信用信息中心、国家商务部、国家市场监督管理总局(原国家工商行政管理总局)、各级地方政府及市场监督管理部门
互联网行业: 360、淘宝、京东等知名互联网企业;
金融行业:银行、消金、P2P、保险、电商、基金证券、租赁等多类金融细分领域客户。
联系方式
- 公司地址:地址:span北京市海淀区海淀北二街8号中关村soho815室