资深大数据平台工程师
钱旺信息产业控股集团
- 公司规模:1000-5000人
- 公司性质:民营公司
- 公司行业:互联网/电子商务 多元化业务集团公司
职位信息
- 发布日期:2016-09-12
- 工作地点:上海
- 招聘人数:1人
- 学历要求:本科
- 职位月薪:30000-39999/月
- 职位类别:高级软件工程师
职位描述
职位描述:
职责:
1、负责大数据平台的稽核、告警、调度、数据质量、指标库等模块的元数据建模;
2、负责设计大数据平台各子模块的元数据调用接口规范;
3、开发大数据平台计算引擎的核心代码;
4、理解业务需求,能对业务抽象,进行数据模型设计;
5、负责大数据平台的分布式程序框架开发;
要求:
1、具有3年+Java平台设计及开发经验;
2、具有很强的Hive/Impala/Spark SQL开发能力,且能用UDF解决复杂问题;
3、有扎实的SQL Like和MapReduce的调优能力;
4、具有实际解决大数据系统相关的复杂疑难问题的能力;
5、对Hive/Impala/Spark内部元数据及执行计划有很深的了解;
6、具有独立的Oracle或Mysql等常用数据库的建模和开发经验;
7、具有3年+数据仓库建模和开发经验;
8、对系统的元数据有很深的理解,有相关元数据平台开发经验者优先;
9、研读过Hadoop源码优先;
举报
分享
职责:
1、负责大数据平台的稽核、告警、调度、数据质量、指标库等模块的元数据建模;
2、负责设计大数据平台各子模块的元数据调用接口规范;
3、开发大数据平台计算引擎的核心代码;
4、理解业务需求,能对业务抽象,进行数据模型设计;
5、负责大数据平台的分布式程序框架开发;
要求:
1、具有3年+Java平台设计及开发经验;
2、具有很强的Hive/Impala/Spark SQL开发能力,且能用UDF解决复杂问题;
3、有扎实的SQL Like和MapReduce的调优能力;
4、具有实际解决大数据系统相关的复杂疑难问题的能力;
5、对Hive/Impala/Spark内部元数据及执行计划有很深的了解;
6、具有独立的Oracle或Mysql等常用数据库的建模和开发经验;
7、具有3年+数据仓库建模和开发经验;
8、对系统的元数据有很深的理解,有相关元数据平台开发经验者优先;
9、研读过Hadoop源码优先;
职能类别: 高级软件工程师
关键字: 大数据平台 数据建模 Impala/Spark SQL 数据仓库建模
公司介绍
钱旺信控集团
钱旺,前往未来的力量!钱旺信控集团历经十年的艰苦创业,目前已发展成为44家控股、参股及关联子公司的企业集团,是率先成功实现跨行业融合的信息化服务集团公司。集团立足上海,辐射移动电商、生物科技、商业地产、现代农业、大宗国际贸易、产业孵化、互动传媒、移动游戏、生化日用、农用无人机等相关产业,以“流量+资本+知识产权”生态模式立志跻身世界优秀企业之林。
钱旺信控集团旗下钱宝网,是国内超一线的微商平台。坚持做农产品上行的实践者,以“三农”方向为重点,深耕农特微商领域,助力消费侧和供给侧的结构性改革,致力于在10年内帮助3000万贫困人口更有尊严地生活!
目前,钱宝微商注册会员数突破1亿5千万,年交易规模达30亿元。在第三方大数据分析机构易观于2016年公布的排名中,钱宝微商高居综合电商领域第14位,在微商类领域排名第二。
钱旺,前往未来的力量!钱旺信控集团历经十年的艰苦创业,目前已发展成为44家控股、参股及关联子公司的企业集团,是率先成功实现跨行业融合的信息化服务集团公司。集团立足上海,辐射移动电商、生物科技、商业地产、现代农业、大宗国际贸易、产业孵化、互动传媒、移动游戏、生化日用、农用无人机等相关产业,以“流量+资本+知识产权”生态模式立志跻身世界优秀企业之林。
钱旺信控集团旗下钱宝网,是国内超一线的微商平台。坚持做农产品上行的实践者,以“三农”方向为重点,深耕农特微商领域,助力消费侧和供给侧的结构性改革,致力于在10年内帮助3000万贫困人口更有尊严地生活!
目前,钱宝微商注册会员数突破1亿5千万,年交易规模达30亿元。在第三方大数据分析机构易观于2016年公布的排名中,钱宝微商高居综合电商领域第14位,在微商类领域排名第二。
联系方式
- Email:caoying@qbao.com
- 公司地址:上班地址:北京市朝阳区建国门外大街甲6号SK大厦29层