大数据运维工程师
上海帕科信息科技有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:计算机服务(系统、数据服务、维修)
职位信息
- 发布日期:2020-03-18
- 工作地点:上海-徐汇区
- 招聘人数:1人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位类别:高级软件工程师
职位描述
工作职责:
1. 负责大数据底层框架Hadoop/Hive/Spark/HBase/Storm/Kafka的日常运维、性能优化以及BUG修复
2. 负责大数据平台其他组件的运维,涉及Bind/LVS/Nginx/Zabbix/MySQL/Redis/Docker等
3. 负责大数据集群的高可用规划和设计,容量规划性能优化等;
4. 负责大数据集群的自动化运维、监控和管理平台开发设计;
岗位要求:
1. 全日制统招本科以上学历,计算机、软件等相关专业。至少1年以上大数据组件开发/运维经验,年龄在35岁以下,特别优秀的可以放宽年龄条件;
2. 深入理解Linux系统、运维体系结构,精于容量规划、架构设计、性能优化,至少掌握Java/Python/Shell中的两种语言,精通Hadoop家族常用组件的日常维护,如HA、YARN管理等,熟悉apache/CDH其中一种版本;
3. 熟悉Hadoop家族常见问题和安全相关问题的解决方法;
4. 深入理解Hdfs/Hive/Spark/HBase/Yarn/Kafka/Storm/Flink/Alluxio其中的一个或者两个的内部运行机制,具备Hadoop、Flink等相关系统的管理、配置、运维经验;
5. 熟悉Bind/LVS/Nginx/Zabbix/MySQL/Redis其中一个和多个组件的配置以及调优经验,具有kafka/redis/spark/ ES集群至少三种集群运维经验;
6. 有熟练操作和优化SQL的经验,能使用Explain Plans和Query Profiles排除故障,调节query性能;
7. 能熟练阅读中文、英文技术文档;
8. 3年在互联网或相关行业的技术性岗位工作经验,具有互联网大规模数据平台,高并发大型系统设计或开发经验者优先。
9. 具有较强的自学能力,能够承受较强的工作压力,工作踏实认真,工作富有激情,有责任心;
任职资格:
1. 熟悉Linux系统,能够熟练使用shell/python脚本处理工具,熟练排查linux常见问题和故障;
2.熟练使用ansible/saltstack批量自动化配置工具;
3.熟悉Java语言,包括NIO、RPC、多线程等技术,对JVM调优以及性能优化有相关经验;
4.对数据相关系统感兴趣,有良好的学习能力;
5.有大规模集群(500+)运维经验会是一个加分项;
6. 有相关Docker/Kubernetes相关使用经验是一个加分项.
职能类别:高级软件工程师
公司介绍
上海帕科聚焦纵深行业的数据研究与业务创新,与国内外知名厂商及战略伙伴真诚合作,创建智能应用的开放共赢生态,以畅享“ABCS”为中心,打造在人工智能(AI)领域:机器学习、自然语言处理、图像识别、预测性行业建模及知识图谱,大数据(Big data)平台产品和专业工具,云计算(Cloud)专业平台与技术服务,安全(Security)态势感知与审计分析的智能制造解决方案,拥有自主可控的大数据平台产品和服务团队,包括大数据存储与计算平台,数据整合平台,主数据管理平台,数据治理平台,数据分析与应用平台,数据中心综合监控平台等,在军工领域和国际先进制造业都有成功落地,致力于全方位用数据为用户创造***价值。
经过多年行业耕耘和数字化转型战略布局,目前和博世、西门子在智能制造平台的创新应用、全球数字化工厂数据治理的标准制定,与商用飞机多个航空企业在设备健康管理、飞行数据智能挖掘等工业数据的价值创造,为航天多院级多厂所构建了基于数据标准制定、数据资产规划、主数据平台体系、数据资源中心创新标杆项目。
创新、共赢是企业文化的核心主旨,公司主要成员包括从业多年的国内外航空航天业务专家,IT行业资深软硬件架构师、咨询顾问,经验丰富的软件研发团队,通过业务创新与IT技术的深度融合,成就产业升级,加快向制造强国的高速迈进!
联系方式
- 公司地址:上海市徐汇区定安路55号徐汇万科中心A座5层;北京市丰台区西三环南路14号院1号楼首科大厦A座1107室 (邮编:200233)
- 电话:15900506125