大数据机器学习算法工程师
上海伟梦物联网科技有限公司
- 公司规模:150-500人
- 公司性质:民营公司
- 公司行业:计算机软件
职位信息
- 发布日期:2024-04-15
- 工作地点:上海·杨浦区
- 工作经验:3年及以上
- 职位月薪:1-1.6万
- 职位类别:大数据机器学习算法工程师
职位描述
基本要求:
1. 工作经验:
至少3年及以上的大数据处理与分析、机器学习算法开发与应用经验,具有成功实施并优化大规模数据驱动项目的案例。
技能要求:
大数据处理与工程能力:
1. 精通大数据生态系统:
熟练使用Hadoop、Spark、Flink等分布式计算框架,具备集群环境下的数据处理、存储和调度能力。
熟悉NoSQL数据库(如HBase、Cassandra等)和数据仓库(如Hive、Impala、Snowflake等)的使用和优化。
掌握数据流处理工具(如Kafka、Flume等)和ETL流程设计。
2. 数据分析与可视化:
熟练使用SQL,具备复杂查询和性能调优能力。
熟悉数据清洗、预处理、特征工程方法,能运用Pandas、NumPy等Python库高效处理数据。
能够使用Tableau、PowerBI、Grafana等工具进行数据可视化与交互式分析。
机器学习与算法能力:
1. 算法与模型开发:
精通监督学习(如逻辑回归、SVM、决策树、随机森林、梯度提升)、无监督学习(如聚类、降维、异常检测)、强化学习等传统机器学习算法原理与应用。
深入理解深度学习框架(如TensorFlow、PyTorch、Keras),能够设计、训练和优化CNN、RNN、Transformer等神经网络模型。
熟悉推荐系统算法(协同过滤、矩阵分解、深度学习推荐模型)和自然语言处理(NLP)相关技术。
2. 模型评估与优化:
能够运用交叉验证、AUCROC曲线、混淆矩阵、F1分数等指标评估模型性能,进行模型选择与参数调优。
理解过拟合、欠拟合现象及其应对策略,包括正则化、早停、集成学习等技术。
掌握模型解释性方法(如SHAP、LIME)和模型部署、监控、更新流程。
其他技能与素质:
1. 编程语言与工具:
精通Python、Scala或Java中至少一种,熟悉其在大数据和机器学习领域的***实践。
熟练使用Git进行版本控制,具备良好的代码编写规范和文档习惯。
2. 硬件加速与优化:
了解GPU、TPU等加速设备的使用,能针对机器学习任务进行并行计算优化。
对FPGA、ASIC等专用硬件有一定了解,能够进行算法在异构计算平台上的移植与优化。
3. 项目管理与沟通:
具备优秀的团队协作精神,能与产品经理、数据分析师、软件工程师等跨职能团队有效沟通。
能够独立承担项目,从需求理解到方案设计、实施、测试、上线全流程管理。
4. 持续学习与创新:
关注大数据、人工智能领域的前沿技术和发展趋势,具备快速学习新技术的能力。
有将新技术应用于实际业务问题,推动技术创新与落地的成功案例。
1. 工作经验:
至少3年及以上的大数据处理与分析、机器学习算法开发与应用经验,具有成功实施并优化大规模数据驱动项目的案例。
技能要求:
大数据处理与工程能力:
1. 精通大数据生态系统:
熟练使用Hadoop、Spark、Flink等分布式计算框架,具备集群环境下的数据处理、存储和调度能力。
熟悉NoSQL数据库(如HBase、Cassandra等)和数据仓库(如Hive、Impala、Snowflake等)的使用和优化。
掌握数据流处理工具(如Kafka、Flume等)和ETL流程设计。
2. 数据分析与可视化:
熟练使用SQL,具备复杂查询和性能调优能力。
熟悉数据清洗、预处理、特征工程方法,能运用Pandas、NumPy等Python库高效处理数据。
能够使用Tableau、PowerBI、Grafana等工具进行数据可视化与交互式分析。
机器学习与算法能力:
1. 算法与模型开发:
精通监督学习(如逻辑回归、SVM、决策树、随机森林、梯度提升)、无监督学习(如聚类、降维、异常检测)、强化学习等传统机器学习算法原理与应用。
深入理解深度学习框架(如TensorFlow、PyTorch、Keras),能够设计、训练和优化CNN、RNN、Transformer等神经网络模型。
熟悉推荐系统算法(协同过滤、矩阵分解、深度学习推荐模型)和自然语言处理(NLP)相关技术。
2. 模型评估与优化:
能够运用交叉验证、AUCROC曲线、混淆矩阵、F1分数等指标评估模型性能,进行模型选择与参数调优。
理解过拟合、欠拟合现象及其应对策略,包括正则化、早停、集成学习等技术。
掌握模型解释性方法(如SHAP、LIME)和模型部署、监控、更新流程。
其他技能与素质:
1. 编程语言与工具:
精通Python、Scala或Java中至少一种,熟悉其在大数据和机器学习领域的***实践。
熟练使用Git进行版本控制,具备良好的代码编写规范和文档习惯。
2. 硬件加速与优化:
了解GPU、TPU等加速设备的使用,能针对机器学习任务进行并行计算优化。
对FPGA、ASIC等专用硬件有一定了解,能够进行算法在异构计算平台上的移植与优化。
3. 项目管理与沟通:
具备优秀的团队协作精神,能与产品经理、数据分析师、软件工程师等跨职能团队有效沟通。
能够独立承担项目,从需求理解到方案设计、实施、测试、上线全流程管理。
4. 持续学习与创新:
关注大数据、人工智能领域的前沿技术和发展趋势,具备快速学习新技术的能力。
有将新技术应用于实际业务问题,推动技术创新与落地的成功案例。
公司介绍
上海伟梦物联网科技有限公司立足上海,公司致力于打造智能化、安全性绿色城市。以物联网的方法和思维对传统的楼宇提供新的解决方案,透过远程监测的技术(Remote Monitoring System)实时采集楼宇里各系统的运行数据为管理者显示系统的动态信息,并提供相应的维护跟踪流程与实施服务。公司专注提供智慧消防、消防物联网、消防施工维保、人脸识别、智慧市政及楼宇运维集成平台研发等服务。目前企业已在中国承接40多个消防维保项目及1000多个地标性建筑的楼宇物联网项目。合作的开发商集团及物业管理企业包括新鸿基集团,凯德集团,宝地集团,万达集团等。本着用户至上、服务为本、安全至上、技术为本的原则,伟梦物联网将集成合力辐射高端品质服务至全国。我公司承接和参与各项大、中型工程均受到各方好评。如:上海国金中心、上海环贸广场、上海来福士广场、上海静安嘉里中心、上海滨江凯旋门、上海正大广场、上海兴业太古汇广场等项目。
伟梦物联网依托物联网与大数据技术,对自身的科技要求非常严谨,不断追求的创新突破,申请各技术专利与知识产权包括发明专利、实用新型、软件著作、外观设计等。在研发合作上,伟梦物联网与上海微系统技术与信息研究所共同建立联合实验室,监控技术研发与生产,并编写企业与各有关技术领域的标准,共同定制并推动行业标准的实行。
经过多年的发展与探索,伟梦物联网已成功上线1000多项地标性项目并获取多个政府立项项目。应用大数据分析、火灾判定,成功提供火灾安全预警,实现了消防、物业、维保单位的智能化管理。伟梦物联网始终走在智慧楼宇消防技术前沿,为楼宇量身打造最适合的配置方案,让服务更专业,让科技更贴心。
期待您的加入!
伟梦物联网依托物联网与大数据技术,对自身的科技要求非常严谨,不断追求的创新突破,申请各技术专利与知识产权包括发明专利、实用新型、软件著作、外观设计等。在研发合作上,伟梦物联网与上海微系统技术与信息研究所共同建立联合实验室,监控技术研发与生产,并编写企业与各有关技术领域的标准,共同定制并推动行业标准的实行。
经过多年的发展与探索,伟梦物联网已成功上线1000多项地标性项目并获取多个政府立项项目。应用大数据分析、火灾判定,成功提供火灾安全预警,实现了消防、物业、维保单位的智能化管理。伟梦物联网始终走在智慧楼宇消防技术前沿,为楼宇量身打造最适合的配置方案,让服务更专业,让科技更贴心。
期待您的加入!
联系方式
- 公司地址:杨浦区隆昌路588号1号楼22楼 (邮编:200090)