广州 [切换城市] 广州招聘广州计算机软件招聘广州系统架构设计师招聘

大数据平台架构师

信用生活(广州)智能科技有限公司

  • 公司规模:150-500人
  • 公司性质:民营公司
  • 公司行业:金融/投资/证券

职位信息

  • 发布日期:2019-11-16
  • 工作地点:广州-海珠区
  • 招聘人数:若干人
  • 工作经验:无工作经验
  • 学历要求:招若干人
  • 语言要求:不限
  • 职位月薪:3-5万/月
  • 职位类别:系统架构设计师

职位描述

岗位职责:
1、根据公司战略和业务中长期发展需求,统筹数据中台的架构设计和演进规划;
2、负责大数据中台(包括数据治理、数据建模、数据架构、数据管理、数据安全、数据运营等技术领域)组件的架构设计、技术选型、技术规格和关键特性的设计;
3、负责大数据中台组件的梳理、架构、评审、优化,推动技术沉淀,构建良好的、标准化的产品生态;
4、推动和落地数据中台架构和数据中台便捷开发框架,并负责核心模块的设计、核心功能的架构与代码模板编写,并具有独立开发与维护系统公用核心模块的能力,确保设计的技术方案、开发的代码有较高性能、质量保障、扩展性、前瞻性;
5、持续优化和把控大数据中台架构和开发框架,保证数据中台的高效、高质量、稳定运行;
6、跨部门沟通协调,沟通架构、流程,规范工作;与各个业务和产品方深入沟通及需求分析,并负责大数据平台技术框架的选型、技术架构的设计与开发落地(包括应用架构、网络架构、数据架构、物理架构、安全架构等);
7、主导技术难点攻关,持续提升核心系统在高并发、海量请求数下的高处理性能,解决各类潜在系统技术风险加固系统,保证系统的安全、稳定、快速运行;
8、结合客户或合作伙伴的需求,提供数据中台业务和技术层面的架构方案设计,规避技术风险,高效解决开发中出现的各种问题;
9、制定技术规范,辅导团队成员的技术,积极分享知识和经验,帮助团队和公司内技术人员成长,提升团队专业能力,具备优秀的团队管理能力,且有极佳的团队合作和沟通能力,工作积极主动,自我驱动能力强,主动思考,心态开放,思路清晰;


岗位要求:
1、计算机、数学或相关专业本科以上学历,5-10年工作经验,具有大型系统的技术架构\应用架构\数据架构相关的实践工作经验;
2、具有5年及以上的数据库/DW/BI架构体系建设、管理和开发经验,精通主流数据库原理和应用开发(如MySQL、PostgreSQL、GreenPlum、Oracle、DB2、SQL server、MongoDB、NoSQL DB、CDH、TD等),深入理解内核优化、存储引擎等,且能够独立完成相关产品的部署、测试和迁移工作;
3、熟悉数据仓库、数据集市的建模理论(如维度建模、指标体系建设等),主导或核心参与过至少2个企业级数据仓库项目或大数据处理项目的研发和落地实施(具有海量数据建模实践经验者优先);熟悉数仓体系和大数据处理平台相关子系统功能,如ETL、数据报表、监控、数据质量等;具备大型数据仓库架构设计、模型设计、ETL设计和优化经验;熟悉数据仓库项目的实施流程;熟悉 ETL 及相关组件,熟悉数据采集/治理,包括但不限于 ELK、Flume、Pentaho、kettle、Canal 等;
4、熟悉大规模系统的负载均衡、缓存、存储、数据库高可用设计及性能评估机制,使用过开源分布式文件系统、分布缓存、分布式服务、分布式锁等;对高并发、复杂SQL以及数据库集群系统具有很强的性能瓶颈预测、故障定位和问题解决能力;能够独立完成数据库层的架构规划、分布式设计部署、Sharding、分库分表、高可用架构;
5、具有分布式系统分析及架构设计经验,熟悉基于计算集群的软件系统架构并具有实施经验;熟悉多种Cluster技术,善于使用开源中间件,并熟悉redis等No-SQL技术,熟悉分布式系统基础设施中常用的技术,如缓存(Memcache、Redis)、消息中间件(Rocketmq、Rabbit MQ、Active MQ、Kafka)、Zookeeper等;熟悉分布式存储相关技术,包括但不限于 Amazon S3、Minio、fastdfs、hdfs、ceph 等;对分布式计算原理有深入理解,并能够深入源码级别排查问题或进行改进;
6、熟悉Linux/Unix操作系统,精通至少2门编程语言(如Java、Python、Shell、Perl、Lua、Scala等),精通计算机系统I/O、多线程、集合等基础框架,熟悉分布式、缓存、消息、搜索等机制,熟悉脚本编程;
7、优秀的编程能力和研发管理能力,熟悉Java语言和主流J2EE框架,至少3-5年以上Java应用开发经验,精通Core Java技术,具有多线程、 socket通信编程经验,并且独立承担过较大软件项目的架构设计;熟悉JDBC,XML,Web Services 和设计模式;熟悉Spring boot/mvc/ioc/aop、MyBatis、iBbatis、Struts、jpa、Hibernate等开发框架及应用经验;熟悉 TCP/IP、HTTP协议等;熟悉SSH、REST、RPC、Dubbo、SOA等技术;有Tomcat、Nginx或WebLogic 等中间件技术/产品使用经验;
8、熟悉Spring Cloud/Istio/Dubbo等微服务框架,具备2年以上微服务设计、开发经验,能在Dock、K8s环境部署和管理微服务;熟悉Docker、Mesos、Kubernetes等容器技术并有项目实践经验;
9、对常用的数据结构、算法、设计模式有深刻理解和优良的实战应用经验;
10、掌握Hadoop/Spark/Storm生态圈的主流技术及产品,深入了解它们的工作原理及应用场景,且至少具有2~3年以上Hadoop应用开发经验;对数据流式应用有相当经验,包括但不限于 hadoop生态 / Spark、Flink、kafka、Spark Streaming、Sqoop 等;熟悉Hbase、HDFS、Hive/Impala、MapReduce、Yarn、Tez、Flume、Fluentd、Spark SQL、Pig、OpenStack Swift、JStorm、Flink、Greenplum、Kylin、ElasticSearch、Kafka、Redis等组件和技术;
11、至少具有2~3年以上银行或金融公司数据模型设计与开发、大数据平台与应用类开发经验;
12、至少3年以上大型数据治理、数据开发和数据集成架构设计、软件开发经验,主导过大型数据集成开发工具并取得过市场商业成功;熟悉数据质量、元数据管理、数据安全管理;有丰富的ETL软件、数据集成开发软件(如阿里DataWorks, DTboost, Dataphin)设计和开发经验,熟悉企业数据架构和数据模型;具有完整企业数据产品的架构设计和落地经验,能结合具体的业务场景,提供有竞争力的的数据产品解决方案设计;
13、精通ETL等数据接入层技术,精通数据建模和数据分层技术;精通数据安全技术,有海量数据加密存储及传输加密等开发经验者优先;熟悉数据湖架构,数据湖加速技术,数据湖计算及任务编排,有实际进行过存储计算分离设计开发者优先;
14、深入理解分级缓存,数据冷热交换,对数据中台,数据中间件有深入了解,包括但不限于Kafka、Zookeeper、RocketMq、apache pulsar;
15、熟悉常见的机器学习算法、了解CNN/RNN/LSTM/GBDT等算法者优先。

公司介绍

我们是一家金融科技公司,致力于为区域性银行***业务联合经营服务(2B2C),是中国目前***能够提供标准信用卡及个人消费信贷业务全流程服务解决方案的企业,整个运营体系包括产品、运营、科技、风控。

18个月创造了两个行业记录:1年创造银行业首年公开发卡100W行业记录;18个月实现标准信用卡盈利,缩短行业盈利周期一半。

我们的核心成员来自汇丰银行、广发银行、交通银行、平安银行、微信、百度、微众等企业,在信用卡和零售信贷领域有10年以上的客户经营和风控经验,为行业内一流专家。

联系方式

  • 公司地址:地址:span宸悦路保利叁悦广场B塔811