大数据平台开发工程师
上海期货信息技术有限公司
- 公司规模:500-1000人
- 公司性质:国企
- 公司行业:计算机软件
职位信息
- 发布日期:2019-10-16
- 工作地点:上海-浦东新区
- 招聘人数:1人
- 工作经验:8-9年经验
- 学历要求:硕士
- 职位月薪:2.5-3万/月
- 职位类别:软件工程师
职位描述
岗位职责:
1. 开发公司级的大数据计算处理平台和数据交换平台,为公司的各类业务系统提供实时和批量数据交换服务,以及各类标准化的计算服务。开发内容包括组件集成,任务管理调度,权限管理和应用SDK及服务API开发;
2. 负责大数据平台与数据应用对接开发工作,培训和支持其他技术团队在大数据平台上的使用和开发工作。
岗位要求:
1. 全日制计算机相关专业硕士及以上学历,至少8年以上相关工作经验;在金融行业或互联网行业从事大数据平台开发工作,至少5年以上相关项目工作经验;
2. 精通java/scala 编程经验,对Hadoop/spark/flink 等主流大数据计算平台具备深入的源码级别的开发能力,熟悉掌握主流的大数据应用开发相关的各类技术,精通Map-reduce, Spark(包括SparkSQL, Spark Structured Streaming,MLlib),Flink(StreamingSQL) ,Imapala, Hive,Storm, Elasticsearch等组建,熟悉了解drools, Redis, Zookeeper, YARN 、Docker等相关支撑组件的开发和调优应用;
3. 要求至少参与过2个以上公司级别的大数据实时或批量计算平台的开发,熟悉SQL解析器和任务调度引擎的开发,参与过金融行业大数据平台开发;
4. 良好的沟通协作能力,具备耐心细致的工作态度,富有团队精神和大局意识;
5. 快速学习能力,良好的英文读写能力,能正确阅读和理解计算机领域的英文资料。
公司介绍
上海期货信息技术有限公司经中国证监会批准,于2004年成立。公司全面聚焦交易所建成世界一流交易所长远目标,服务交易所长期战略和近期目标,致力于期货市场技术能力提升和创新发展,为上海期货交易所、期货行业核心机构、交易所会员单位提供系统软件的相关开发及技术规划、设施建设、网络保障、信息安全等技术服务。
联系方式
- 公司地址:松林路300号 (邮编:201201)