大数据架构开发工程师
上海源犀信息科技有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:广告
职位信息
- 发布日期:2020-11-16
- 工作地点:上海
- 招聘人数:若干人
- 工作经验:8-9年经验
- 学历要求:本科
- 职位月薪:2-3.5万/月
- 职位类别:系统架构设计师
职位描述
职位诱惑:
一线VC投资、优秀团队、健全的福利
职位描述:
关于Linkflow数据部分说明:
团队已完成了数据平台的搭建和数据仓库的建立,正在不断优化OLAP业务;
我们有较完善的CI系统,使用gerrit提交代码并进行review,jenkins执行测试;
我们的服务已经完成了容器化,并搭建了k8s;
我们基于Spark生态搭建了数据平台,并结合kylin做数据预处理;
我们使用Elesticsearch处理大部分在线业务查询。
岗位职责:
1. 参与规划和实施公司数据平台的搭建以满足未来1-2年的数据分析要求;
2. 参与公司CDP平台的整体数据架构设计,完成从业务模型到数据模型的设计工作 ;
3. 负责基于Spark的数据平台研发工作(包扩离线计算,数据仓库存储和处理等);
4. 对业务开发团队提供技术支持,协助方案规划;
5. 维持线上服务高效稳定,支撑业务和数据量的快速扩张。
岗位要求:
1. 有java开发基础,熟悉Spark相关技术,至少有3年以上的大数据开发经验(有过带教经验优先考虑,本岗往Leader方向培养);
2. 熟悉流式计算平台的搭建,例如使用Flink / Spark Streaming和kafka结合的实时数据处理系统,实现数据实时大屏;
3. 理解离线和实时数据仓库的治理方法和分层逻辑;
4. 熟悉Scala语言,对Scala原理、底层技术有深入研究者优先;
5. 深入理解MapReduce工作原理,HDFS分布式文件系统架构;
6. 熟练掌握Hadoop/Hive/HBASE的运维和调优方法;
6. 熟悉mysql, ElasticSearch, Redis等关系型或NoSQL数据库,了解应用场景和使用限制,有实际调优经验者更佳;
7. 熟悉Linux/Unix操作系统,会写Shell,会使用Git;
8. 了解大数据组件的使用限制和应用场景,包括但不仅限于: hdfs, yarn, hbase, hive, flume, kafka, zookeeper, kylin, kudu, ElasticSearch, Storm, MongoDB等;
9. 了解掌握TensorFlow者优先;
10. 熟练的英文技术文档阅读能力;
11. 有深入研究过Hadoop,Spark源码者优先。
一线VC投资、优秀团队、健全的福利
职位描述:
关于Linkflow数据部分说明:
团队已完成了数据平台的搭建和数据仓库的建立,正在不断优化OLAP业务;
我们有较完善的CI系统,使用gerrit提交代码并进行review,jenkins执行测试;
我们的服务已经完成了容器化,并搭建了k8s;
我们基于Spark生态搭建了数据平台,并结合kylin做数据预处理;
我们使用Elesticsearch处理大部分在线业务查询。
岗位职责:
1. 参与规划和实施公司数据平台的搭建以满足未来1-2年的数据分析要求;
2. 参与公司CDP平台的整体数据架构设计,完成从业务模型到数据模型的设计工作 ;
3. 负责基于Spark的数据平台研发工作(包扩离线计算,数据仓库存储和处理等);
4. 对业务开发团队提供技术支持,协助方案规划;
5. 维持线上服务高效稳定,支撑业务和数据量的快速扩张。
岗位要求:
1. 有java开发基础,熟悉Spark相关技术,至少有3年以上的大数据开发经验(有过带教经验优先考虑,本岗往Leader方向培养);
2. 熟悉流式计算平台的搭建,例如使用Flink / Spark Streaming和kafka结合的实时数据处理系统,实现数据实时大屏;
3. 理解离线和实时数据仓库的治理方法和分层逻辑;
4. 熟悉Scala语言,对Scala原理、底层技术有深入研究者优先;
5. 深入理解MapReduce工作原理,HDFS分布式文件系统架构;
6. 熟练掌握Hadoop/Hive/HBASE的运维和调优方法;
6. 熟悉mysql, ElasticSearch, Redis等关系型或NoSQL数据库,了解应用场景和使用限制,有实际调优经验者更佳;
7. 熟悉Linux/Unix操作系统,会写Shell,会使用Git;
8. 了解大数据组件的使用限制和应用场景,包括但不仅限于: hdfs, yarn, hbase, hive, flume, kafka, zookeeper, kylin, kudu, ElasticSearch, Storm, MongoDB等;
9. 了解掌握TensorFlow者优先;
10. 熟练的英文技术文档阅读能力;
11. 有深入研究过Hadoop,Spark源码者优先。
公司介绍
团队成员:核心成员来自SAP、微软等知名软件企业管理层,有多年全球企业SaaS云平台产品全程打造经验。
团队产品:核心产品——Linkflow,聚焦于打造企业级客户数据中台(CDP)。
产品价值:
将数据孤岛有效连接,构建从信息采集、分析到运营的一体化客户运营体验。
充分激活企业数据金库,定义数据驱动流程的能力,支撑企业业务的数字化转型。
公司发展:
2017年1月团队成立,成立以来迅速获得企业级客户的绝对认可,并快速完成首批客户付费使用;
2017年4月南京研发中心成立,研发成员平均工作经验10年以上,核心研发人才为南大、交大硕士等优秀人才,Linkflow由研发团队完全自主研发,实现客户零代码操作、多种部署方式、百亿以上的处理量;
2017年8月,公司获得全球知名VC-光速资本和国内知名VC-真格基金的联合投资;
2017年10月,公司广州办事处成立;
2018年,公司产品快速推入市场并取得大批量的知名客户,包括雅培、安联保险、轻松筹等;
2018年8月,公司获得国内一线VC-金沙江创投的A轮投资。
目前公司分布上海、南京和广州三个城市,人员规模在50人。
我们的人才关注重点是杰出的学习能力和踏实高效的产出能力!如果你是,我们期待和优秀的你共同实现自我价值,打造对企业客户最具价值的CDP平台!
团队产品:核心产品——Linkflow,聚焦于打造企业级客户数据中台(CDP)。
产品价值:
将数据孤岛有效连接,构建从信息采集、分析到运营的一体化客户运营体验。
充分激活企业数据金库,定义数据驱动流程的能力,支撑企业业务的数字化转型。
公司发展:
2017年1月团队成立,成立以来迅速获得企业级客户的绝对认可,并快速完成首批客户付费使用;
2017年4月南京研发中心成立,研发成员平均工作经验10年以上,核心研发人才为南大、交大硕士等优秀人才,Linkflow由研发团队完全自主研发,实现客户零代码操作、多种部署方式、百亿以上的处理量;
2017年8月,公司获得全球知名VC-光速资本和国内知名VC-真格基金的联合投资;
2017年10月,公司广州办事处成立;
2018年,公司产品快速推入市场并取得大批量的知名客户,包括雅培、安联保险、轻松筹等;
2018年8月,公司获得国内一线VC-金沙江创投的A轮投资。
目前公司分布上海、南京和广州三个城市,人员规模在50人。
我们的人才关注重点是杰出的学习能力和踏实高效的产出能力!如果你是,我们期待和优秀的你共同实现自我价值,打造对企业客户最具价值的CDP平台!
联系方式
- 公司地址:地址:span裕德路126号氪空间(徐汇社区)