高级数据工程师(光谷)
曼迪匹艾(武汉)科技服务有限公司
- 公司规模:1000-5000人
- 公司性质:合资
- 公司行业:学术/科研
职位信息
- 发布日期:2024-09-29
- 工作地点:武汉·洪山区
- 工作经验:2年及以上
- 学历要求:本科
- 职位月薪:2-3万
- 职位类别:计算机辅助设计工程师 临床数据分析员
职位描述
一、主要职责
1.为Scilit数据库进行数据仓库的设计、开发、维护工作,推动数据工程技术栈革新,整合MDPI公司级数仓体系,构建丰富稳定的数据资产,推动Scilit的数据产品化;
2.协同相关方,将产品/数据分析/算法需求转化为数据工程需求,构建数据Pipeline和ETL任务,增进相关合作方的数据使用便利;
3.建立和提高数据模型的准确性、易用性、灵活性、可扩展性,提升查询效率,为可视化报表开发、数据分析、工程项目和算法开发等下游数据应用提供良好的数据条件;
4.承担大规模复杂指标的快速计算和维护任务,根据业务和数据分析需求,开发、仓储和维护分析表(宽表),优化其查询效率;
5.收集、清洗、整理Scilit数据,提升Scilit数据质量、数据可用性和数据效率,使得数据准确、一致、完整、有效、及时。搭建数据质量校验、报警、自动整理机制;
6.建立数据字典,将常用维度和指标的技术口径文档化。
二、职位要求
1.熟练运用书面和口语英语交流数仓技术,可以胜任同国际化团队协同工作;
2.计算机、信息技术、信息管理、数据管理、数据科学等相关专业本科及以上学历;
3.熟练使用数据工程工具,例如:
? SQL类工具,如MySQl和PostgreSQL等
? Python数据类工具:如pandas, polars, DuckDB, PyArrow, Great Expectation等
? Data Lake相关工具:Delta Like, Parquet, Amazon S3, Apache Iceberg等
? Airflow等数据调度工具
4.具备较好的维度建模方法论,独立负责过数仓架构设计和优化,熟练ETL、数仓分层、性能调优,了解MySQL数据库模型和数据结构;
5.熟悉一门或多门面向对象的编程语言:Python/Java/Scala/C++;
6.熟悉从数据生产到数据消费的全链路,具有将技术和优秀的业务理解相结合的能力,发掘机会、解决问题;
7.两年以上对口行业经验,优秀者工作年限可适当放宽;
8.逻辑清晰严谨,对数据敏感,跨团队协作能力、沟通能力强。
加分项:
? 熟悉以下技术:
* PHP Symfony
* 元数据管理,如DataHub
* 图数据库和图数据分析
* 其它:Apache Solr, Shell, Git
* Streamlit
* Docker
? 有学术出版、文献计量学和科学计量学、作者消歧等相关知识、技能和经验;
? 了解数据分析/机器学习/NLP,或有将数据分析/算法和业务洞察能力结合的经验。
三、工资待遇
1. 薪酬待遇:20K-30K;
2. 六险一金,周末双休,综合补贴,带薪年假,年度体检,节日福利,儿童福利,活动经费,下午茶等各种福利。
四、办公地点
武汉市洪山区邮科院路88号烽火科技大厦2层
五、联系方式
求职者请提供中文简历。
1.为Scilit数据库进行数据仓库的设计、开发、维护工作,推动数据工程技术栈革新,整合MDPI公司级数仓体系,构建丰富稳定的数据资产,推动Scilit的数据产品化;
2.协同相关方,将产品/数据分析/算法需求转化为数据工程需求,构建数据Pipeline和ETL任务,增进相关合作方的数据使用便利;
3.建立和提高数据模型的准确性、易用性、灵活性、可扩展性,提升查询效率,为可视化报表开发、数据分析、工程项目和算法开发等下游数据应用提供良好的数据条件;
4.承担大规模复杂指标的快速计算和维护任务,根据业务和数据分析需求,开发、仓储和维护分析表(宽表),优化其查询效率;
5.收集、清洗、整理Scilit数据,提升Scilit数据质量、数据可用性和数据效率,使得数据准确、一致、完整、有效、及时。搭建数据质量校验、报警、自动整理机制;
6.建立数据字典,将常用维度和指标的技术口径文档化。
二、职位要求
1.熟练运用书面和口语英语交流数仓技术,可以胜任同国际化团队协同工作;
2.计算机、信息技术、信息管理、数据管理、数据科学等相关专业本科及以上学历;
3.熟练使用数据工程工具,例如:
? SQL类工具,如MySQl和PostgreSQL等
? Python数据类工具:如pandas, polars, DuckDB, PyArrow, Great Expectation等
? Data Lake相关工具:Delta Like, Parquet, Amazon S3, Apache Iceberg等
? Airflow等数据调度工具
4.具备较好的维度建模方法论,独立负责过数仓架构设计和优化,熟练ETL、数仓分层、性能调优,了解MySQL数据库模型和数据结构;
5.熟悉一门或多门面向对象的编程语言:Python/Java/Scala/C++;
6.熟悉从数据生产到数据消费的全链路,具有将技术和优秀的业务理解相结合的能力,发掘机会、解决问题;
7.两年以上对口行业经验,优秀者工作年限可适当放宽;
8.逻辑清晰严谨,对数据敏感,跨团队协作能力、沟通能力强。
加分项:
? 熟悉以下技术:
* PHP Symfony
* 元数据管理,如DataHub
* 图数据库和图数据分析
* 其它:Apache Solr, Shell, Git
* Streamlit
* Docker
? 有学术出版、文献计量学和科学计量学、作者消歧等相关知识、技能和经验;
? 了解数据分析/机器学习/NLP,或有将数据分析/算法和业务洞察能力结合的经验。
三、工资待遇
1. 薪酬待遇:20K-30K;
2. 六险一金,周末双休,综合补贴,带薪年假,年度体检,节日福利,儿童福利,活动经费,下午茶等各种福利。
四、办公地点
武汉市洪山区邮科院路88号烽火科技大厦2层
五、联系方式
求职者请提供中文简历。
公司介绍
MDPI(Multidisciplinary Digital Publishing Institute)由林树坤博士创办于1996年,是全球领先的Open Access出版公司之一,总部位于瑞士巴塞尔,同时在中国,西班牙,塞尔维亚,英国,泰国,日本,罗马尼亚,加拿大,波兰以及新加坡设有分公司。
MDPI中国区在北京,武汉,天津,南京,大连共设有七个代表处,主要负责MDPI期刊的编辑出版工作。
MDPI致力于开放获取出版服务,目前出版英文科技期刊380余种,其中SCIE期刊90余种。期刊领域覆盖生物、化学、医药、机械、能源、环境、农林等各学科。
MDPI中国区在北京,武汉,天津,南京,大连共设有七个代表处,主要负责MDPI期刊的编辑出版工作。
MDPI致力于开放获取出版服务,目前出版英文科技期刊380余种,其中SCIE期刊90余种。期刊领域覆盖生物、化学、医药、机械、能源、环境、农林等各学科。
联系方式
- Email:hr-wuhan@mdpi.com
- 公司地址:邮科院路88号烽火科技大厦2层