天津 [切换城市] 天津招聘天津互联网/电子商务/网游招聘天津互联网软件开发工程师招聘

大数据获取与分析核心工程师

北京远大创新科技有限公司

  • 公司规模:500-1000人
  • 公司性质:民营公司
  • 公司行业:互联网/电子商务

职位信息

  • 发布日期:2019-04-09
  • 工作地点:北京
  • 招聘人数:20人
  • 工作经验:无工作经验
  • 学历要求:招20人
  • 语言要求:不限
  • 职位月薪:1.5-2万/月
  • 职位类别:互联网软件开发工程师

职位描述


1、负责爬虫引擎核心功能开发及优化、架构设计、系统规划,以及爬虫技术的技术调研;

2、负责大数据的爬取、解析处理、持久化及备份等数据日常工作;

3、负责数据的清洗、整理、整合及合并等工作;

4、破解反爬机制,优化爬虫路由调度策略,同时负责反爬策略的设计及优化;

5、负责高性能爬虫系统的后台监控、报警模块的开发。


任职资格:

1、熟练使用C#语言

2、熟悉爬虫的设计及实现流程,至少4年互联网数据抓取及爬虫经验;

3、了解各种Web前端技术,包括XHTML/XML/CSS/JavaScript/AJAX等;

4、熟悉反爬虫机制并有对应的破解方案;

5、爬取过超百万数量级的数据;

6、有大数据相关开发经验者优先,熟悉分布式计算,有多线程、分布式、网络数据抓取及处理经验优先、有lucene优化开发经验优先;


工作地址海淀区彩和坊路10号1+1大厦5层503

公司介绍

北京远大创新科技有限公司成立于2000年,专注于电子元器件供应链服务领域,公司总部位于“中国硅谷”之称的北京中关村核心区,在惠州、深圳、上海、香港、苏州和成都等地设有分公司。凭借多年诚信经营和对市场环境的深刻了解,远大创新在客户、人才战略、销售网络、物流与仓储、资金实力、ERP管理系统等方面建立了全方位竞争优势。公司拥有四个仓储物流中心,三个技术支持中心,一个产品设计中心,一个信息管理中心,共有200多名卓越员工服务于1万余家不同领域的客户。

远大创新将卓越的需求创造能力作为企业核心竞争力。在为客户提供物流和仓储服务的同时,进一步提供全面的技术支持和整体解决方案。目前,远大创新与五十余家国内外知名半导体厂商建立了密切的合作伙伴关系,通过推广其高素质的产品和对技术的持续投入,远大创新已成为能够满足客户多样化需求,具有强大研发能力的综合性方案供应商,产品广泛应用于汽车电子、轨道交通、仪器仪表、自动化控制、网络通信、医疗设备、智能家居等行业和领域。

远大创新建立了规范的组织结构和先进的ERP管理系统,并先后成功通过ISO9001:2000和ISO9001:2008质量管理体系认证。未来远大创新将继续拓展新的代理产品线和技术服务领域,不断加大对销售服务网络和技术研发的投入,我们真诚希望与广大员工携手共进,与业界同仁一道致力于中国电子产业的发展!

联系方式

  • 公司地址:北京市海淀区彩和坊路10号1+1大厦501-506室 (邮编:100080)