上海 [切换城市] 上海招聘上海计算机软件招聘上海系统架构设计师招聘

大数据架构开发工程师

上海源犀信息科技有限公司

  • 公司规模:50-150人
  • 公司性质:民营公司
  • 公司行业:广告

职位信息

  • 发布日期:2020-11-16
  • 工作地点:上海
  • 招聘人数:若干人
  • 工作经验:8-9年经验
  • 学历要求:本科
  • 职位月薪:2-3.5万/月
  • 职位类别:系统架构设计师

职位描述

职位诱惑:

一线VC投资、优秀团队、健全的福利



职位描述:



关于Linkflow数据部分说明:

团队已完成了数据平台的搭建和数据仓库的建立,正在不断优化OLAP业务;

我们有较完善的CI系统,使用gerrit提交代码并进行review,jenkins执行测试;

我们的服务已经完成了容器化,并搭建了k8s;

我们基于Spark生态搭建了数据平台,并结合kylin做数据预处理;

我们使用Elesticsearch处理大部分在线业务查询。



岗位职责:

1. 参与规划和实施公司数据平台的搭建以满足未来1-2年的数据分析要求;

2. 参与公司CDP平台的整体数据架构设计,完成从业务模型到数据模型的设计工作 ;

3. 负责基于Spark的数据平台研发工作(包扩离线计算,数据仓库存储和处理等);

4. 对业务开发团队提供技术支持,协助方案规划;

5. 维持线上服务高效稳定,支撑业务和数据量的快速扩张。



岗位要求:

1. 有java开发基础,熟悉Spark相关技术,至少有3年以上的大数据开发经验(有过带教经验优先考虑,本岗往Leader方向培养);

2. 熟悉流式计算平台的搭建,例如使用Flink / Spark Streaming和kafka结合的实时数据处理系统,实现数据实时大屏;

3. 理解离线和实时数据仓库的治理方法和分层逻辑;

4. 熟悉Scala语言,对Scala原理、底层技术有深入研究者优先;

5. 深入理解MapReduce工作原理,HDFS分布式文件系统架构;

6. 熟练掌握Hadoop/Hive/HBASE的运维和调优方法;

6. 熟悉mysql, ElasticSearch, Redis等关系型或NoSQL数据库,了解应用场景和使用限制,有实际调优经验者更佳;

7. 熟悉Linux/Unix操作系统,会写Shell,会使用Git;

8. 了解大数据组件的使用限制和应用场景,包括但不仅限于: hdfs, yarn, hbase, hive, flume, kafka, zookeeper, kylin, kudu, ElasticSearch, Storm, MongoDB等;

9. 了解掌握TensorFlow者优先;

10. 熟练的英文技术文档阅读能力;

11. 有深入研究过Hadoop,Spark源码者优先。

职能类别:系统架构设计师

关键字:企业服务大数据架构师

来源:拉勾

公司介绍

团队成员:核心成员来自SAP、微软等知名软件企业管理层,有多年全球企业SaaS云平台产品全程打造经验。

团队产品:核心产品——Linkflow,聚焦于打造企业级客户数据中台(CDP)。

产品价值:

将数据孤岛有效连接,构建从信息采集、分析到运营的一体化客户运营体验。

充分激活企业数据金库,定义数据驱动流程的能力,支撑企业业务的数字化转型。

公司发展:

2017年1月团队成立,成立以来迅速获得企业级客户的绝对认可,并快速完成首批客户付费使用;

2017年4月南京研发中心成立,研发成员平均工作经验10年以上,核心研发人才为南大、交大硕士等优秀人才,Linkflow由研发团队完全自主研发,实现客户零代码操作、多种部署方式、百亿以上的处理量;

2017年8月,公司获得全球知名VC-光速资本和国内知名VC-真格基金的联合投资;

2017年10月,公司广州办事处成立;

2018年,公司产品快速推入市场并取得大批量的知名客户,包括雅培、安联保险、轻松筹等;

2018年8月,公司获得国内一线VC-金沙江创投的A轮投资。

目前公司分布上海、南京和广州三个城市,人员规模在50人。

我们的人才关注重点是杰出的学习能力和踏实高效的产出能力!如果你是,我们期待和优秀的你共同实现自我价值,打造对企业客户最具价值的CDP平台!



联系方式

  • 公司地址:地址:span裕德路126号氪空间(徐汇社区)