大数据开发工程师(spark,python)
深圳前海壹互联科技投资有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2019-01-21
- 工作地点:深圳-南山区
- 招聘人数:2人
- 工作经验:3-4年经验
- 学历要求:大专
- 职位月薪:1.5-2万/月
- 职位类别:软件工程师
职位描述
职位描述:
1. 负责数据中心整体架构设计和研发,负责大数据平台的架构选型、设计及搭建工作;
2. 以支持实时数据收集、监控,灵活的业务数据报表,及挖掘和模型工作。管理平台数据的接入和输出,并为数据质量负责;
3. 负责基于Spark Streaming的实时海量数据处理、分析和挖掘;
4. 负责数据仓库ETL流程的优化及解决ETL相关技术问题。
职位要求:
1.计算机相关专业,3年及以上大数据领域工作经验,有扎实的计算机理论基础;
2.精通Java/Scala/Python程序开发(至少一种),熟悉Linux开发环境;
3.熟悉常用开源分布式系统Spark/Hadoop,精通源代码尤佳;
4.熟练使用HDFS、Spark、Hive、Flume、Kafka、Storm和Hbase等技术;
5.具有高扩展性、高性能和分布式系统的实践经验 ;
6.具有实时数据处理的项目经验,能够应对海量数据的存储、处理和分析需求;
7.具备良好的沟通能力、学习能力、分析解决问题能力;
8.对技术发展持续关注,能主动跟进新技术发展动态、有自己的 blog、github 者优先。
职能类别:软件工程师 数据库工程师/管理员
关键字:数据挖掘 数据分析 数据库应用 数据库开发 数据仓库
职能类别: 软件工程师
公司介绍
深圳前海壹互联科技投资有限公司(简称壹互联)成立于2015年,总部位于深圳南山区深圳湾科技生态园,是国内领先的金融保险业整合服务供应商。
我们坚持“数据连接生态,科技驱动经营”,致力于用创意科技驱动保险大生态圈的不断发展。多年来持续开拓新科技下空白领域的保险服务发展空间,通过智慧手段的不断升级与完善,逐渐形成壹互联独有的一套商业运作模式,成为行业标杆。
现已在智能查勘、人脸识别、智能远程视频会议、智慧营销云、大数据分析等多维领域为不同的企业提供了领先于行业的专业解决方案。
我们坚持“为用户提供更优质的产品”,整合供应链渠道,为各大平台提供更优惠,更优质的商品。
我们坚持“数据连接生态,科技驱动经营”,致力于用创意科技驱动保险大生态圈的不断发展。多年来持续开拓新科技下空白领域的保险服务发展空间,通过智慧手段的不断升级与完善,逐渐形成壹互联独有的一套商业运作模式,成为行业标杆。
现已在智能查勘、人脸识别、智能远程视频会议、智慧营销云、大数据分析等多维领域为不同的企业提供了领先于行业的专业解决方案。
我们坚持“为用户提供更优质的产品”,整合供应链渠道,为各大平台提供更优惠,更优质的商品。
联系方式
- 公司地址:地址:span深圳湾科技生态园10栋A座805