爬虫开发工程师
北京搜知数据科技有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:计算机软件
职位信息
- 发布日期:2019-10-24
- 工作地点:北京-海淀区
- 招聘人数:1人
- 工作经验:无工作经验
- 学历要求:招1人
- 语言要求:不限
- 职位月薪:1.5-3万/月
- 职位类别:高级软件工程师 互联网软件开发工程师
职位描述
岗位职责:
1、负责分析需求需要的数据,找到对应网站并进行数据抓取,清洗、维护工作;
2、负责通用爬虫平台设计与研发,负责特殊网页采集任务的分析及采集方案设计;
3、负责大数据平台的架构设计和研发;
4、研究海量数据的存储、计算、传输,优化系统架构,不断提升系统的时效性、稳定性、易用性。 5、5、负责产品数据爬虫方案的分析与编写;
任职要求:
1、计算机相关专业,本科及以上学历,有2年以上爬虫相关经验;
2、精通至少一种开发语言Java/Python,并能够快速学习掌握新开发语言;
3、熟悉TCP/IP,HTTP及相关网络协议;
4、熟悉JS/HTML/DOM/XPATH/CSS等网页相关技术,熟悉Nutch等分布式爬虫框架
5、有爬虫,信息抽取,文本分类等相关经验,能够总结分析不同网站,网页的结构特点及规律;
6、精通网页抓取原理及整合技术,精通正则表达式,从结构化的和非结构化的数据中获取信息;
7、熟练Mysql,redis,mongdb等数据库,有过数据库调优和海量数据存储经验优先;
8、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先;
9、良好的沟通交流能力,较好的逻辑分析能力,具备敏锐的商业嗅觉,对数字敏感;
职能类别:高级软件工程师互联网软件开发工程师
公司介绍
北京搜知数据科技有限公司成立于2017年,总部位于北京市海淀区,是一家高新技术企业,公司专注于数据服务、软件开发、信息咨询,是专业的数据服务提供商、产品及项目方案解决商,公司始终致力于为用户提供简单、专业、高品质的大数据解决方案。
公司全球网络化的布局为客户提供更专业、贴近服务,目前已在广州、杭州、长沙成立三家分公司,同时在湖南省常德市投资建设大数据产业园达50余亩,设有数据处理中心。公司凭借雄厚的数据资源储备、优质合理的人才配置、细心周到、专业的客户服务迅速赢得了市场的认可,目前公司客户涵盖高校、政府、科研院所、企事业单位等。
公司自成立以来,始终秉持以数据为基础,以技术开发为先导,以市场为导向,注重技术及数据储备能力投入,致力于用技术开发重构数据服务的新模式,公司先后上线的“中国工业企业数据查询系统V1.0”、“EPS数据平台V2.0”得到了广大用户的一致好评。
同时公司不忘回馈市场,其自主研发的“大赛考试答题云系统”已经免费为多所高校的过万名学生提供了考试、竞赛服务,同时公司也支持了多场线下“竞知向学”的活动。
搜知数据视每一次与客户的合作为一次自身成长的机会,同时我们愿意以自身不断进步的技术实力、数据储备实力不务空名的为客户提供优质的服务,与广大客户一起拥抱大数据时代的到来。
公司全球网络化的布局为客户提供更专业、贴近服务,目前已在广州、杭州、长沙成立三家分公司,同时在湖南省常德市投资建设大数据产业园达50余亩,设有数据处理中心。公司凭借雄厚的数据资源储备、优质合理的人才配置、细心周到、专业的客户服务迅速赢得了市场的认可,目前公司客户涵盖高校、政府、科研院所、企事业单位等。
公司自成立以来,始终秉持以数据为基础,以技术开发为先导,以市场为导向,注重技术及数据储备能力投入,致力于用技术开发重构数据服务的新模式,公司先后上线的“中国工业企业数据查询系统V1.0”、“EPS数据平台V2.0”得到了广大用户的一致好评。
同时公司不忘回馈市场,其自主研发的“大赛考试答题云系统”已经免费为多所高校的过万名学生提供了考试、竞赛服务,同时公司也支持了多场线下“竞知向学”的活动。
搜知数据视每一次与客户的合作为一次自身成长的机会,同时我们愿意以自身不断进步的技术实力、数据储备实力不务空名的为客户提供优质的服务,与广大客户一起拥抱大数据时代的到来。
联系方式
- 公司地址:杭州市江干区金隅空港公馆2-1401室