北京 [切换城市] 北京招聘北京计算机软件招聘北京数据库工程师/管理员招聘

数据抓取工程师

企名宝(北京)企业管理有限公司

  • 公司规模:150-500人
  • 公司性质:民营公司
  • 公司行业:专业服务(咨询、人力资源、财会)  互联网/电子商务

职位信息

  • 发布日期:2017-07-20
  • 工作地点:北京-海淀区
  • 招聘人数:2人
  • 工作经验:3-4年经验
  • 学历要求:大专
  • 职位月薪:2-2.5万/月
  • 职位类别:数据库工程师/管理员  

职位描述

职位描述:
1.完成网页采集任务的分析及采集方案的设计,对海量数据进行智能抽取、校对;
2.负责网页抓取和信息提取系统的架构设计及算法实现,开发垂直站点分布式抓取程序,实现对各种网页的解析、提取;
3.根据业务需求建立数据仓库,对抓取数据进行清洗等预处理操作;
4.负责系统日常运营资源调度优化,调整抓取策略,提升爬虫效率,实时监控爬虫的进度。
5.负责特殊网页采集任务的分析及采集方案设计。

岗位要求:
1.大专及以上学历,JAVA基础扎实,了解Web前端和移动端开发,理解io、多线程、集合等基础框架,对JVM原理有一定的了解;
2.五年及以上JAVA开发经验,熟悉开源框架,能了解到它的原理和机制;对Spring,ibatis,struts等开源框架熟悉;
3.熟悉分布式系统的设计和应用,熟悉分布式、缓存、消息等机制;能对分布式常用技术进行合理应用,解决问题;
4.掌握多线程及高性能的设计与编码及性能调优;有高并发应用开发经验;
5.掌握Linux操作系统和大型数据库(MySql,Mongo);对sql优化有丰富的经验;
6.学习能力强,责任心强,具有良好的沟通、团队协作、计划和创新的能力
7.具备web挖掘等搜索引擎相关知识,有从事网络爬虫、网页去重、网页信息抽取、文本分析等经验;
8.具备spider相关模块研发经验,熟悉spider分布式抓取和策略优化者优先。

职能类别: 数据库工程师/管理员

举报 分享

公司介绍


企名宝(北京)信用管理有限公司是国内首家提供工商注册、代理记账产品与服务的电商平台。公司整合渠道终端资源、自身数据库资源、互联网信息技术,为客户提供最实效、实惠、便捷的专业化服务,构建集用户需求、业务管理、市场拓展于一体的商务模式。

企名宝工商注册服务:该服务包括名称核准、企业设立登记、办理组织机构代码证、国/地税税务登记证等服务内容,同时还为缺少合适注册地的客户推荐经济适用的企业注册地、办公地。

企名宝代理记账服务:该服务以记账、报税、税务筹划与咨询为主,并附带为客户提供开立基本户、税务报到等服务。

联系方式

  • 公司地址:上班地址:上地东路1号院盈创动力大厦A座北厅201