大数据开发工程师
建信金融科技有限责任公司
- 公司性质:国企
- 公司行业:金融/投资/证券
职位信息
- 发布日期:2020-09-09
- 工作地点:上海-浦东新区
- 招聘人数:6人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:2-4万/月
- 职位类别:大数据开发工程师
职位描述
岗位职责:
1、负责对接大数据平台规划,落实技术方案设计和数据基础模型设计,综合考虑集成能力要求、系统稳定可靠性要求、系统安全性要求、系统运行效率的描述和系统管理要求,满足各类数据应用的支撑要求,编制数据交付相关管理规范及开发规范;
2、负责数据湖、数据服务平台等实施开发全流程工作,包括但不限于:数据模型设计、ETL开发实施、算法集成开发、试点验证开发以及总分行数据应用建设支持等。
3、负责数据湖统一运维体系的构建,包括:投产版本管理、统一运维监控,运行维护,故障问题通知,解决与跟踪,定期的汇总整理,知识库的形成等;
4、负责数据模型的一致性和完整性管理,根据上游系统的数据变化,牵头评估基础模型和下游数据应用,安排同步实施配套改造、测试及协同上线工作。
任职要求:
1、35周岁以下,全日制本科及以上学历,计算机类、统计类、管理科学与工程类等相关专业;三年以上从事大数据平台领域相关工作经验;
2、熟悉掌握主流数据库,如Greenplum、Teradata、Hadoop、Oracle、MySQL等,精通SQL、Hive、Spark、Hbase、Flink、Storm、Kafka、Kudu、Yarn、Impala、ES等主流大数据技术;
3、熟悉Linux环境开发与运维;掌握分布式计算存储原理,能够应用库表、分区设计与落地,数据加载、处理实施开发,以及性能优化和解决各类问题;
4、熟练使用SQL语言以及Perl、Python、Pyspark、SAS、HiveSQL、Shell等编程语言,具有独立开发数据大数据量加载,并发作业的处理能力;
5、熟悉Java开发框架,具有数据库双活模式下联机查询设计开发经验以及在大并发量下效能提升的实践经验,具有设计开发各类数据产品和工具的研发能力;
6有较好的综合分析和组织协调能力,具有较强的沟通表达能力和执行力。
职能类别:大数据开发工程师