大数据开发工程师
国印科技(北京)有限公司
- 公司规模:少于50人
- 公司性质:民营公司
- 公司行业:计算机软件 计算机服务(系统、数据服务、维修)
职位信息
- 发布日期:2018-02-10
- 工作地点:北京-海淀区
- 工作经验:2年经验
- 学历要求:本科
- 职位月薪:1-2万/月
- 职位类别:软件工程师
职位描述
岗位目标:
为公司现有成熟的产品线引入大数据技术,构建分布式存储和计算平台,进而逐步协助公司实现产品线技术路线的变革。
岗位职责:
搭建并基于Hadoop大数据平台,利用Spark计算引擎/采用MapReduce编程模型/通过Hive接口技术,对Habse和MySql数据库中存储的大量数据(非海量数据,约千万条/年)进行常规查询统计和分析挖掘产品的开发,细节如下:
1、基于Hadoop体系的产品设计开发:
(1)进行数据平台架构设计,基于Hadoop、Hive等构建数据分析平台;
(2)利用Hadoop、Hive、Hbase、MapReduce技术进行分布式计算业务产品设计开发;
(3)具备Hadoop相关业务脚本的性能优化与提升能力,不断提高系统运行效率;
2、数据挖掘产品设计开发:
(1)(掌握基于Spark计算引擎的开发技术)应用大数据、数据挖掘、分析建模等技术,对(海量)数据进行分析挖掘计算;
(2)能够学习掌握SparkR技术进行数据分析挖掘开发。
任职资格:
1、计算机或相关专业毕业,2年以上软件开发、系统设计工作经验;
2、掌握Hadoop+Spark+Hbase(+MySql)系统开发经验:对Hadoop/Hive/Hbase及Spark/MapReduce等大数据开发相关技术有深入理解,有Spark和MapReduce开发经验;
3、具有良好的数据结构和挖掘算法基础;
4、具备良好的学习能力和团队协作能力;
5、具备基本的需求调研、需求分析和系统设计能力。
职能类别: 软件工程师
关键字: Hadoop开发 Spark开发
公司介绍
公司拥有强大的自主研发能力,创始人毕业于清华大学,负责和参与多项军队系统、国家部委信息系统建设与管理,核心团队成员来自于国内重点院校和军队研究机构,在信息安全、物联网、移动互联网、云计算大数据等领域有多年研发经验。
文档安全方面,公司研发的电子签章系统、涉密文档管理系统、数字水印系统、打印管理系统可以实现文档的全生命周期管理,产品通过国家公安部和保密局检测和认证。
物联网技术方面,基于最新嵌入式芯片技术、传感器,提供从信息采集、管理应用、实时监控、防盗防伪、人身识别(指纹,人脸,虹膜),动态跟踪等多种物联网解决方案,实现人、重点物品、重点区域的安全智能管理。
在司法领域,公司拥有十余年司法行政管理解决方案经验,我们提供从电子签章到司法辅助系统的综合解决方案,使用科技手段提升司法办案效率。业务领域已覆盖北京和天津法院系统80%以上法院,取得所有法院的一致好评。
联系方式
- 公司地址:上班地址:上地万霖大厦