大数据开发工程师
上海辰仕科技发展有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:计算机软件
职位信息
- 发布日期:2021-06-01
- 工作地点:天津
- 招聘人数:1人
- 工作经验:2年经验
- 学历要求:大专
- 职位月薪:1-2万/月
- 职位类别:大数据开发工程师
职位描述
1.熟悉Hadoop分布式集群搭建,HDFS读写流程,MapReduce引擎分析过程,Yarn任务调度流程,Shuffle机制以及Hadoop优化。
2.熟悉Hive架构,熟练使用HQL语句,熟练使OVER,CURRENTROW,FOLLOWING,LAG等窗口函数,熟悉Hive相关调优方法。
3.熟练使用MySQL数据库,熟悉其索引机制,熟悉其增删改查各种语句结构,经常使用Explain关键字对查询语句进行分析调优。
4.熟悉Linux操作系统环境,了解Shell脚本语言命令,能够基本编写Shell脚本。
5.熟悉数据中台理论及实践过程,参与六个业务组之间的数据中台构建。
6.熟练使用Sqoop数据传递工具将数据在关系型数据库Hadoop中的HDFS之间进行转移。
7.了解数据可视化工具FineBI、Davinci、superset部署、使用过程。
8.了解数据建模理论,了解其中的范式理论以及维度建模的模型结构。
职能类别:大数据开发工程师
公司介绍
上海辰仕科技发展有限公司是一家专注于电力、能源、及大型生产企业等行业自动化、信息化生产等领域的企业,于2013年注册于上海临港自由贸易区,享受国家科技企业政策扶持,公司总部坐落于上海电力学院科技园区内,主要业务包括电力、能源、及大型生产企业等领域内的系统开发集成,相关设备研发,应用软件开发,智能机器人研发生产,方案设计,工程实施,技术支持服务等。
联系方式
- 公司地址:地址:span国网大数据中心