Skip to main content

什么是 MLOps?

· 3 min read

DevOps, DataOps 和 MLOps

术语

  • MLOps - DevOps 式自动化方法与 ML 最佳实践的结合,侧重于将 ML 模型部署到生产系统中并进行操作。
  • DevOps- 协作文化和开发人员自动化操作,以持续改进部署并减少业务部门之间的摩擦。包括 CI/CD 等自动化工具和原则。
  • CI/CD- 持续集成和持续交付 - DevOps 工作流程中的关键实践。CI 包括定期自动测试和验证增量构建的软件,而 CD 则侧重于自动向生产等环境发布更新。
  • 成熟度模型 - MLOps 中的概念,定义了 MLOps 复杂性和有效性的递增级别,通常为 4-5 级,从手动、孤立、不可靠到可扩展、自主和弹性系统。
  • 数据运维- 具体侧重于使用 DevOps 概念和自动化原则来管理数据工作负载,如聚合、转换、存储、分析等。
  • 特征存储- 用于管理、存储和提供 ML 特征的中央存储库,以便构建模型和进行再培训。优化数据管道和重用。

什么是 MLOps?

MLOps 背景

  • MLOps 的核心来自日本汽车行业的改善。
  • DevOps 是在软件行业做相关的事情,基础设施代码,自动化测试,CI,持续部署。能够应对新部署而不必改变。

MLOps: 25% DevOps, 25% DataOps 自动化,25% 建模,25%制定和查看业务需求。

相关证书

  • AWS Machine Learning Specialty
  • AWS Data Analytics
  • AWS Solutions Architect
  • Snowflake
  • Databricks
  • MlRun
  • Kubernetes Certificated Application Developer
  • Google Cloud Certified Machine Learning Engineer

趋势

NFSOps

Kubernetes and Kubeflow

Edge ML

ESG: 面对气候问题

Pre-trained models and AutoML

You don't need to built it to use it!

Model Portability

Kaizen ML

将机器学习推向生产所必须的每件事情必须实现自动化。

什么是 DevOps?

软件工程最佳实践、组织文化,自动化结合+反馈循环。

Kaizen: 持续改进, 持续改进, 持续改进。

什么是 DataOps?

专注在 Data 领域的 DevOps 工作。

轻型 MLOps 系统与重型 MLOps 系统

  • 轻型系统以模型为中心
  • 重型系统以数据为中心

MlOps Hierarchy of Needs

Data Poisoning

Resources