大数据任务调度系统开发工程师
深圳市城市交通规划设计研究中心股份有限公司
- 公司规模:1000-5000人
- 公司性质:国企
- 公司行业:交通/运输/物流
职位信息
- 发布日期:2020-10-14
- 工作地点:深圳-南山区
- 招聘人数:3人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:2-3万/月
- 职位类别:系统工程师 数据库工程师(DBA)
职位描述
1.建设和整合现有的数据开发任务,结合行业***实践进行任务的同一管理和可视化管理。
2.实现多种类型的任务提交、查询、依赖、回滚、重试、以及所有任务日志同一管理的业务功能。
3.对日常的任务的异常进行监控和优化管理,并且输出基础架构资源的优化,配置参数的优化,以及任务编排和代码的优化。
任职要求:
1.熟悉Azkaban、Oozie、Quartz、xxl-job,airflow等2个或多个技术栈,能进行工作流任务调度,包括定时任务、依赖任务等的调度;
2.能够实现基于项目管理、 定时执行工作流、跟踪工作流等操作;
3.熟练任务提交、执行和维护工作流;
4.熟练使用工具对集群间管理与搭建集群环境。
5.有搭建调度工具WEB UI管理工具的经验,并且和现有的大数据平台、业务管理平台进行整合。
职能类别:系统工程师数据库工程师(DBA)
关键字:TP大规模任务
公司介绍
深圳市城市交通规划设计研究中心(以下简称“中心”)创建于1996年,一直以来是深圳市委市政府重要的交通决策支持和科研机构,是深圳市交通综合治理和轨道交通建设重要的技术支撑单位, 也是行业前沿的科技创新带头单位。近年来,中心立足深圳、引领行业、服务全国。目前业务范围已覆盖全国30多个省市,120余座城市,影响超过6亿人出行。
中心致力于提供先进的城市交通技术与服务,提供以大数据分析为基础、以协同规划为引领、以品质设计为支撑、以系统集成为实践、以智慧运维为反馈的城市交通整体解决方案。
经过20多年发展,中心在资质等级、人员规模、专业类别上,于国内城市交通专业研究机构中处于领先地位。目前具备城乡规划甲级、工程咨询甲级、工程设计甲级、广东省全过程工程咨询试点单位以及信息技术服务运行维护和CMMI等多项资质。拥有一支多学科、多专业、高学历、高素质、业务经验丰富的专业团队,人员规模近1700人,其中博、硕士占比超50%,专业涵盖交通规划、城规建筑、工程设计、景观园林、系统集成、软件开发等类别。累计完成各类项目千余项,先后获得中国公路学会科学技术一等奖、华夏建设科学技术一等奖、中国智能交通协会科学技术一等奖、全国优秀城乡规划设计一等奖、中国土木工程詹天佑奖、全国优秀工程咨询成果奖一等奖、深圳市科技进步一等奖、深圳市长质量奖***管理类金奖等各级奖项数百项。
中心制定了全国***城市交通规划设计体系指引;编制了国内***涵盖海陆空铁各领域的城市交通白皮书;率先在深圳市建立以综合交通规划指导近期交通治理及综合规划(TP+TIP)的滚动编制和实施的模式;在全国***构建了轨道规划与城市规划、工程设计的耦合体系;编制了国内***个轨道建设规划;推出全球领先的实时在线交通仿真平台、全球***交通排放实时监测平台,并自主研发建立了道路交通运行指数系统、智能停车引导系统、SUTPC 车路协同系统、DeepView大数据平台、深研智慧道路以及智慧管控平台,积极推动深圳市的从智慧道路到大数据平台到场景治理的智能交通体系和应用示范。连续3年牵头获3项 “十三五”国家重点研发计划项目(城市交通智能治理大数据计算平台及应用示范、城市地面基础设施群运行保障关键技术研究与应用示范、面向城市灾害管控的主动应急指挥关键技术与示范),对行业发展具有重大意义。
中心拥有众多科研创新平台,具备行业领先的科研技术实力。作为城市交通领域的***高新技术企业和广东省新型研发机构,中心拥有综合交通大数据应用技术国家工程实验室深圳中心、交通运输部行业研发中心、广东省交通信息工程技术研究中心、广东省高性能生态路面材料工程技术研究中心、深圳市企业技术中心、深圳市交通信息与交通工程重点实验室、深圳市交通大数据公共技术服务平台、深圳市交通碳排放研究工程实验室、深圳市交通运输行业大数据应用工程研究中心等科研平台。同时,中心与麻省理工大学、斯坦福大学、清华大学、同济大学等国内外***科研机构以及著名高校广泛开展产学研合作。
展望未来,中心将以“让交通与城市更美好”为使命,积极迎接挑战,探索交通大数据与城市交通治理的前沿趋势,探寻未来智慧城市构建之道,致力于成为全球领先的城市交通整体解决方案提供者。
中心致力于提供先进的城市交通技术与服务,提供以大数据分析为基础、以协同规划为引领、以品质设计为支撑、以系统集成为实践、以智慧运维为反馈的城市交通整体解决方案。
经过20多年发展,中心在资质等级、人员规模、专业类别上,于国内城市交通专业研究机构中处于领先地位。目前具备城乡规划甲级、工程咨询甲级、工程设计甲级、广东省全过程工程咨询试点单位以及信息技术服务运行维护和CMMI等多项资质。拥有一支多学科、多专业、高学历、高素质、业务经验丰富的专业团队,人员规模近1700人,其中博、硕士占比超50%,专业涵盖交通规划、城规建筑、工程设计、景观园林、系统集成、软件开发等类别。累计完成各类项目千余项,先后获得中国公路学会科学技术一等奖、华夏建设科学技术一等奖、中国智能交通协会科学技术一等奖、全国优秀城乡规划设计一等奖、中国土木工程詹天佑奖、全国优秀工程咨询成果奖一等奖、深圳市科技进步一等奖、深圳市长质量奖***管理类金奖等各级奖项数百项。
中心制定了全国***城市交通规划设计体系指引;编制了国内***涵盖海陆空铁各领域的城市交通白皮书;率先在深圳市建立以综合交通规划指导近期交通治理及综合规划(TP+TIP)的滚动编制和实施的模式;在全国***构建了轨道规划与城市规划、工程设计的耦合体系;编制了国内***个轨道建设规划;推出全球领先的实时在线交通仿真平台、全球***交通排放实时监测平台,并自主研发建立了道路交通运行指数系统、智能停车引导系统、SUTPC 车路协同系统、DeepView大数据平台、深研智慧道路以及智慧管控平台,积极推动深圳市的从智慧道路到大数据平台到场景治理的智能交通体系和应用示范。连续3年牵头获3项 “十三五”国家重点研发计划项目(城市交通智能治理大数据计算平台及应用示范、城市地面基础设施群运行保障关键技术研究与应用示范、面向城市灾害管控的主动应急指挥关键技术与示范),对行业发展具有重大意义。
中心拥有众多科研创新平台,具备行业领先的科研技术实力。作为城市交通领域的***高新技术企业和广东省新型研发机构,中心拥有综合交通大数据应用技术国家工程实验室深圳中心、交通运输部行业研发中心、广东省交通信息工程技术研究中心、广东省高性能生态路面材料工程技术研究中心、深圳市企业技术中心、深圳市交通信息与交通工程重点实验室、深圳市交通大数据公共技术服务平台、深圳市交通碳排放研究工程实验室、深圳市交通运输行业大数据应用工程研究中心等科研平台。同时,中心与麻省理工大学、斯坦福大学、清华大学、同济大学等国内外***科研机构以及著名高校广泛开展产学研合作。
展望未来,中心将以“让交通与城市更美好”为使命,积极迎接挑战,探索交通大数据与城市交通治理的前沿趋势,探寻未来智慧城市构建之道,致力于成为全球领先的城市交通整体解决方案提供者。
联系方式
- 公司地址:南山区深圳湾生态科技园
- 电话:13760722543