大数据开发工程师
新奥数能科技有限公司
- 公司规模:150-500人
- 公司性质:民营公司
- 公司行业:计算机软件
职位信息
- 发布日期:2019-07-05
- 工作地点:北京-朝阳区
- 招聘人数:1人
- 工作经验:5-7年经验
- 学历要求:本科
- 职位月薪:2.5-3.5万/月
- 职位类别:大数据开发/分析
职位描述
岗位职责:
1、参与基于Hadoop生态系统(Hadoop、HBase、Hive、Yarn、Kafka等)的大数据平台设计及实施构建。
2、负责大数据平台组件间的集成、接口封装,相关的技术文档编写。
3、参与大数据平台相关组件技术调研,参与大数据平台组件选型。
4、实现各种类型的数据接入大数据平台服务。
5、在大数据平台中,实现数据加工、转换、清洗、计算等服务,包括批处理(MapReduce、Hive、Spark等)和实时流处理。
6、实现数据管理套件产品研发工作,包括元数据管理、数据质量管理、数据资产管理、数据服务接口等。
任职资格:
1、熟练使用Java开发语言,具备5年以上Java开发经验,熟悉OOP思想,了解Spring MVC、Springboot、Mybatis等框架技术;
2、对大数据处理流程有比较清晰的认识,有3年以上大数据开发经验,了解数据采集、存储、计算、服务、可视化等各环节的分工;
3、至少了解一种数据采集或同步技术,包括ETL工具、Flume、Sqoop、Kettle、DataX、网络爬虫等;
4、掌握Hadoop生态技术,精通HDFS存储技术,了解HBase、MapReduce、Hive、Zookeeper等相关技术;
5、至少掌握一种流计算技术,包括SparkStreaming、Flink、Storm等;
6、至少熟练使用一种数据库(Oracle、MySQL、PostgreSQL)或大数据类关系分析引擎(Hive、SparkSQL、Impala、Kylin、Greenplum)技术,熟悉常见SQL语句的写法;
7、掌握分布式计算技术,至少知道以下分布式技术中的一种,HDFS Namenode/Datanode、YARN(MapReduce) ResourceManager/NodeManager、HBase MasterServer/RegionServer、Spark Master/Slave、Flink JonManager/TaskManager等;
8、计算机相关专业本科毕业,掌握常见数据结构和算法,对数据敏感,知道常见的数据分析维度,对数据的对比、趋势、异常点、均值、计数、排序、TopN等分析有一定了解。
职能类别: 大数据开发/分析
公司介绍
泛能网汇聚了包括来自能源巨头及阿里、Google、 SAP、微软、ABB、施耐德等全球***互联网、 软件和工业控制企业的多位专家 以前沿的物联网、大数据、及人工智能技术,构建 智慧化的数字能源平台。目前,360多位伙伴汇聚在泛能网 其中,硕士以上近100人,博士10人。
在北京、美国硅谷设立了研发机构,在人工智能、物联网、云计算、大数据、区块链等领域进行了技术布局,与Intel、麻省理工学院 (MIT) 人工智能实验室、北航、上海交大、同济等全球物联网领军企业和高校在人工智能和大数据领域成立了联合实验室,共创能源技术的新突破,改变能源世界格局。
所获荣誉:
十大能源互联网示范项目
2019年《世界物联网排行榜》500强企业
2019年度智慧能源创新应用奖
2019中国物联网行业创新技术产品奖
2019中国物联网行业***应用案例奖
2019“物联之星”年度***智慧能源应用方案奖
我们的福利
八险一金、年终奖、带薪年假、节日福利、高温福利、午餐补助、交通补助、通信补助、健康体检、团队活动、生日活动、三必访
联系方式
- 公司地址:地址:span各区域工作所在地城市