爬虫开发工程师
上海凭安征信服务有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2017-11-12
- 工作地点:上海-长宁区
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1.2-2.4万/月
- 职位类别:互联网软件开发工程师 高级软件工程师
职位描述
职位描述:
工作职责:
1、参与爬虫系统的架构设计与开发;
2、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析;
3、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;
4、能独立解决实际开发过程碰到的各类问题;
任职要求:
1、全日制统招本科以上学历,具有爬虫系统开发、内容提取工作经验2年以上;
2、熟悉linux平台开发,3年以上python开发经验;
3、精通信息抓取和整合技术,从结构化的和非结构化的数据中获取信息;
4、熟悉Mysql,redis,mongdb三者至少之一,有过数据库调优和海量数据存储经验优先;
5、具有搜索相关技术研发、数据挖掘、自然语言处理、信息检索、机器学习背景者优先;
6、有nutch,heritrix抓取经验或者分布式抓取经验者优先;
7、 熟悉搜索引擎和个性化推荐相关技术,精通主流分词算法、分类、提取摘要、大规模网页聚类、索引、检索等相关开发经验者优先。
工作职责:
1、参与爬虫系统的架构设计与开发;
2、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析;
3、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;
4、能独立解决实际开发过程碰到的各类问题;
任职要求:
1、全日制统招本科以上学历,具有爬虫系统开发、内容提取工作经验2年以上;
2、熟悉linux平台开发,3年以上python开发经验;
3、精通信息抓取和整合技术,从结构化的和非结构化的数据中获取信息;
4、熟悉Mysql,redis,mongdb三者至少之一,有过数据库调优和海量数据存储经验优先;
5、具有搜索相关技术研发、数据挖掘、自然语言处理、信息检索、机器学习背景者优先;
6、有nutch,heritrix抓取经验或者分布式抓取经验者优先;
7、 熟悉搜索引擎和个性化推荐相关技术,精通主流分词算法、分类、提取摘要、大规模网页聚类、索引、检索等相关开发经验者优先。
职能类别: 互联网软件开发工程师 高级软件工程师
关键字: 爬虫 python 爬虫系统开发
公司介绍
上海凭安征信服务有限公司(以下简称“凭安信用”)是经人民银行上海总部备案的企业征信机构,创始团队拥有超过十六年互联网信用领域从业经验,自创立之初就得到了工信部、发改委、国家网络安全与信息化小组办公室、上海市公安局、上海市经信委等机构的大力支持。
凭安信用多年来聚焦于大数据信用产品的研发和服务,以大数据和互联网技术为支撑,持续深耕可信互联网业务创新,于2015年受委托成为国家市场监督管理总局(原国家工商行政管理总局)“全国网络交易平台监管服务系统”联合建设单位,2016年正式成为国家发改委电子商务行业信用建设官方合作征信机构,同年与国家公共信用信息中心数据实现互联互通。
目前,凭安信用已经形成互联网智慧信用监管、大数据征信服务、中小企业信用档案建设等多个稳定业务模块,在上海、北京、浙江等多地设立了分支机构,累计服务近百家政府机构、十万余家企业用户。
客户案例
政府机构:国家发改委、国家公共信用信息中心、国家商务部、国家市场监督管理总局(原国家工商行政管理总局)、各级地方政府及市场监督管理部门
互联网行业: 360、淘宝、京东等知名互联网企业;
金融行业:银行、消金、P2P、保险、电商、基金证券、租赁等多类金融细分领域客户。
凭安信用多年来聚焦于大数据信用产品的研发和服务,以大数据和互联网技术为支撑,持续深耕可信互联网业务创新,于2015年受委托成为国家市场监督管理总局(原国家工商行政管理总局)“全国网络交易平台监管服务系统”联合建设单位,2016年正式成为国家发改委电子商务行业信用建设官方合作征信机构,同年与国家公共信用信息中心数据实现互联互通。
目前,凭安信用已经形成互联网智慧信用监管、大数据征信服务、中小企业信用档案建设等多个稳定业务模块,在上海、北京、浙江等多地设立了分支机构,累计服务近百家政府机构、十万余家企业用户。
客户案例
政府机构:国家发改委、国家公共信用信息中心、国家商务部、国家市场监督管理总局(原国家工商行政管理总局)、各级地方政府及市场监督管理部门
互联网行业: 360、淘宝、京东等知名互联网企业;
金融行业:银行、消金、P2P、保险、电商、基金证券、租赁等多类金融细分领域客户。
联系方式
- 公司地址:地址:span北京市海淀区海淀北二街8号中关村soho815室