大数据应用开发工程师(偏数据集成)
上海期货信息技术有限公司
- 公司规模:500-1000人
- 公司性质:国企
- 公司行业:计算机软件
职位信息
- 发布日期:2019-10-15
- 工作地点:上海-浦东新区
- 招聘人数:1人
- 工作经验:5-7年经验
- 学历要求:招1人
- 语言要求:不限
- 职位月薪:2.5-3万/月
- 职位类别:高级软件工程师
职位描述
岗位职责:
1. 开发公司级的大数据采集和交换平台,整合内外部数据,为公司的各类业务系统提供实时和批量数据采集服务,以及各类标准化的数据交换服务。工作内容包括设计开发数据采集规范和任务调度,高可靠数据传输,外部爬虫和数据转换和处理等ETL开发;
2. 负责大数据平台采集交换平台与其他系统对接开发工作,培训和支持其他技术团队利用大数据共享平台提供的服务进行开发工作。
岗位要求:
1. 全日制院校计算机专业学士及以上学历,在金融行业或互联网行业从事大数据采集和交换平台开发和运维工作,至少5年以上从业经验;
2. 丰富的java/python 编程经验,对各类主流的数据采集技术和方案拥有丰富的经验,精通主流的大数据传输和采集技术组件如sqoop, flume, kafka, kettle,elasticsearch,scrapy等技术的开发,尤其对kafka,elasticsearch 二个平台拥有深度的开发和调优经验;
3. 要求至少参与过2个以上公司级别的大数据日志采集和共享平台的开发,对大数据采集、整合服务的规范和管理工作具有丰富的实践经验;
4. 良好的沟通协作能力,具备耐心细致的工作态度,富有团队精神和大局意识;
5. 快速学习能力,良好的英文读写能力,能正确阅读和理解计算机领域的英文资料。
公司介绍
上海期货信息技术有限公司经中国证监会批准,于2004年成立。公司全面聚焦交易所建成世界一流交易所长远目标,服务交易所长期战略和近期目标,致力于期货市场技术能力提升和创新发展,为上海期货交易所、期货行业核心机构、交易所会员单位提供系统软件的相关开发及技术规划、设施建设、网络保障、信息安全等技术服务。
联系方式
- 公司地址:松林路300号 (邮编:201201)