大数据开发工程师
苏州锦途网络科技有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:计算机软件
职位信息
- 发布日期:2019-09-13
- 工作地点:上海-普陀区
- 招聘人数:1人
- 工作经验:5-7年经验
- 学历要求:招1人
- 语言要求:不限
- 职位月薪:2-2.5万/月
- 职位类别:数据库工程师/管理员 软件工程师
职位描述
1.从事Hadoop、Spark等分布式大数据平台产品的设计和开发;
2. 针对部门大数据业务进行大数据分析、挖掘等产品应用的开发;
3. 大数据平台各类数据业务抽象及模型化;
4. 参与大数据管理平台的开发及维护;
5. 参与大数据平台数据产品ETL设计、开发及自动化工作;
6. 负责大数据平台数据及相关的应用开发,调优及维护;
7.为项目开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题
8. 根据项目需求,分析,设计,并实现系统的架构方案。使系统架构具有合理性和可扩展性。
9. 负责海量数据采集、处理及存储、应用方案的技术选型及架构实现
岗位要求:1. 5年以上大数据应用开发经验,本科及以上学历;
2. 掌握Java开发,有Spark、Python语言开发经验优先;
3. 熟悉Hadoop底层文件系统,熟悉Hadoop分布式计算框架(HDFS、Hive、Hbase、Spark、Flink等).
4. 熟悉并掌握离线和实时数据处理流程,熟练使用Spark,Flink处理TB级数据优先。
5. 熟悉业界有影响力数据仓库和大数据领域的产品、解决方案形态和技术,熟悉OLAP、OLTP引擎和DB,熟悉主流数据整合、治理技术和工具;
6. 熟悉Linux环境,熟悉Mysql、等常用关系数据库
及MongoDB等NOSq数据库并熟练编写SQL语句;
7.熟悉掌握通用大数据数据合并、建模、抽取、分析挖掘机、展示等挖掘算法,具有在实际项目中结合业务场景开发大数据算法的经验者优先;
8. 对大数据技术有强烈兴趣,有志于往大数据处理方向发展;工作认真踏实,动手和学习新技术能力强。
职能类别:数据库工程师/管理员软件工程师
公司介绍
锦途科技是以科技为驱动的互联网公司,公司成立于2018年初,位于上海市普陀区绿洲中环中心办公楼。我们拥有专业的研发团队,提供良好的办公环境。
公司正处于快速发展阶段,欢迎志同道合的伙伴们加入锦途!
公司正处于快速发展阶段,欢迎志同道合的伙伴们加入锦途!
联系方式
- 公司地址:地址:span绿洲中环中心10号楼702室