MLFlow 入门(Model管理，生命周期管理)

最近需求需要使用mlflow，去学习了下，记录。

简介

MLflow是一个开源平台，专门为了帮助机器学习的从业者和团队处理机器学习过程中的复杂性而设计的。MLflow关注机器学习项目的完整生命周期，确保每个阶段都是可管理的、可追溯的和可复现的。

MLflow目前提供了几个关键的组件：

MLflow AI Gateway：通过安全、简单的API与最先进的LLM进行交互。
MLflow LLM Evaluate：简化LLM和提示的评估。
MLflow Tracking：记录和查询实验：代码、数据、配置和结果。
MLflow Projects：将数据科学代码打包成一种格式，可以在任何平台上重现运行。
MLflow Models：在不同的服务环境中部署机器学习模型。
Model Registry：在一个中心仓库中存储、注释、发现和管理模型。

FE启动

（前提你需要有python环境和pip）

先安装mlflow

pip install mlflow

然后就可以直接启动sever

mlflow server --host 127.0.0.1 --port 8080

 这个端口随便你，只要是你可用的端口就行。

启动完成之后打开浏览器输入localhost:8080 你的端口是什么就是什么，我是8080而已

 就可以看到他的UI。

代码使用

创建实验

这里的实验类似于我们的project，独立的实验可以方便进行管理和查看 

from mlflow import MlflowClient
client = MlflowClient(tracking_uri="http://127.0.0.1:8080")
all_experiments = client.search_experiments()default_experiment = [{"name": experiment.name, "lifecycle_stage": experiment.lifecycle_stage}for experiment in all_experimentsif experiment.name == "Default"
][0]
# Provide an Experiment description that will appear in the UI
experiment_description = ("This is the grocery forecasting project. ""This experiment contains the produce models for apples."
)# Provide searchable tags that define characteristics of the Runs that
# will be in this Experiment
experiment_tags = {"project_name": "grocery-forecasting","store_dept": "produce","team": "stores-ml","project_quarter": "Q3-2023","mlflow.note.content": experiment_description,
}# Create the Experiment, providing a unique name
produce_apples_experiment = client.create_experiment(name="Apple_Models", tags=experiment_tags
)

在FE里面可以看到 刚刚我们创建的实验。

查看实验 

from mlflow import MlflowClient
from pprint import pprint
client = MlflowClient(tracking_uri="http://127.0.0.1:8080")
all_experiments = client.search_experiments()pprint(all_experiments)

 

这样可以返回所有我们已经存在的实验，关于pprint()可以看我另一篇blog https://blog.csdn.net/Damien_J_Scott/article/details/134603880 

 Model准备

import mlflow
from mlflow.models import infer_signatureimport pandas as pd
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score# Load the Iris dataset
X, y = datasets.load_iris(return_X_y=True)# Split the data into training and test sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42
)# Define the model hyperparameters
params = {"solver": "lbfgs","max_iter": 1000,"multi_class": "auto","random_state": 8888,
}# Train the model
lr = LogisticRegression(**params)
lr.fit(X_train, y_train)# Predict on the test set
y_pred = lr.predict(X_test)# Calculate metrics
accuracy = accuracy_score(y_test, y_pred)

这里训练好了一个逻辑回归的模型。

Model记录

import mlflow
from mlflow.models import infer_signatureimport pandas as pd
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score# Load the Iris dataset
X, y = datasets.load_iris(return_X_y=True)# Split the data into training and test sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42
)# Define the model hyperparameters
params = {"solver": "lbfgs","max_iter": 1000,"multi_class": "auto","random_state": 8888,
}# Train the model
lr = LogisticRegression(**params)
lr.fit(X_train, y_train)# Predict on the test set
y_pred = lr.predict(X_test)# Calculate metrics
accuracy = accuracy_score(y_test, y_pred)#2nd part code# Set our tracking server uri for logging
mlflow.set_tracking_uri(uri="http://127.0.0.1:8080")# Create a new MLflow Experiment
mlflow.set_experiment("MLflow Quickstart")# Start an MLflow run
with mlflow.start_run():# Log the hyperparametersmlflow.log_params(params)# Log the loss metricmlflow.log_metric("accuracy", accuracy)# Set a tag that we can use to remind ourselves what this run was formlflow.set_tag("Training Info", "Basic LR model for iris data")# Infer the model signaturesignature = infer_signature(X_train, lr.predict(X_train))# Log the modelmodel_info = mlflow.sklearn.log_model(sk_model=lr,artifact_path="iris_model",signature=signature,input_example=X_train,registered_model_name="tracking-quickstart",)

这里在原有的代码基础上加入了模型记录的代码，其实也可以把训练模型和其他逻辑的代码放进 start_run 里面，但是官方不建议这么做，因为如果你训练或者其他逻辑代码报错有什么问题，会导致之前出现空或者无效记录，就需要手动去UI里面进行清理了

这里设置链接的方式使用的是 mlflow.set_tracking_uri(uri="http://127.0.0.1:8080")，

其实还有一种方式 client = MlflowClient(tracking_uri="http://127.0.0.1:8080")，他们的区别就是如下：

统而言之就是，client方式更加灵活，可以一份代码里面有多个跟踪服务器，另一种适合一份代码只有一个跟踪服务器来使用。 

调用Model

import mlflow
from mlflow.models import infer_signatureimport pandas as pd
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score# Load the Iris dataset
X, y = datasets.load_iris(return_X_y=True)# Split the data into training and test sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42
)# Define the model hyperparameters
params = {"solver": "lbfgs","max_iter": 1000,"multi_class": "auto","random_state": 8888,
}# Train the model
lr = LogisticRegression(**params)
lr.fit(X_train, y_train)# Predict on the test set
y_pred = lr.predict(X_test)# Calculate metrics
accuracy = accuracy_score(y_test, y_pred)
print(accuracy)# Set our tracking server uri for logging
mlflow.set_tracking_uri(uri="http://127.0.0.1:8080")# Create a new MLflow Experiment
mlflow.set_experiment("MLflow Quickstart")# Start an MLflow run
with mlflow.start_run():# Log the hyperparametersmlflow.log_params(params)# Log the loss metricmlflow.log_metric("accuracy", accuracy)# Set a tag that we can use to remind ourselves what this run was formlflow.set_tag("Training Info", "Basic LR model for iris data")# Infer the model signaturesignature = infer_signature(X_train, lr.predict(X_train))# Log the modelmodel_info = mlflow.sklearn.log_model(sk_model=lr,artifact_path="iris_model",signature=signature,input_example=X_train,registered_model_name="tracking-quickstart",)print(f'{model_info.model_uri}')# Load the model back for predictions as a generic Python Function modelloaded_model = mlflow.pyfunc.load_model(model_info.model_uri)predictions = loaded_model.predict(X_test)iris_feature_names = datasets.load_iris().feature_namesresult = pd.DataFrame(X_test, columns=iris_feature_names)result["actual_class"] = y_testresult["predicted_class"] = predictionsprint(result[:4])

 这里在之前基础上加了调用模型的代码

FE查看

 我们返回到FE中，可以看到1这里 RUN Name 会随机生成，如果你想要指定特殊的名字就可以这样

with mlflow.start_run(run_name="test1"):pass

 还有就是每有个一 with mlflow.start_run(）就会有一条这个记录，可以看到3这里是没有model的，因为我测试的时候就是一个空的with mlflow.start_run(）

点击某一个run name就可以进入详情页
 红线这里就是model的url，可以直接通过这个url调用到该model，

左边文件栏里面可以看到具体记录了哪些文件。有pkl的模型，还有示例输入，还有该模型需要的依赖等等。

根据我的学习进度还在更新中....

参考链接： https://mlflow.org/docs/latest/getting-started/intro-quickstart/index.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/217454.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【JavaEE初阶】线程安全问题及解决方法

【JavaEE初阶】线程安全问题及解决方法

目录 一、多线程带来的风险-线程安全 1、观察线程不安全 2、线程安全的概念 3、线程不安全的原因 4、解决之前的线程不安全问题 5、synchronized 关键字 - 监视器锁 monitor lock 5.1 synchronized 的特性 5.2 synchronized 使用示例 5.3 Java 标准库中的线程安全类…
阅读更多...
【Python】(自定义类)计算语句执行时间

【Python】(自定义类)计算语句执行时间

一个玩具，写着来玩的。 用的time模块，代码很简单(所以才说是个玩具) 代码： import time class TimeStamp:__timestampNone__keyNonedef __init__(self,tipsNone,keyNone):self.__timestamp{}self.NewStamp(tips,key)def NewStamp(self,tips,…
阅读更多...
rfc4301- IP 安全架构

rfc4301- IP 安全架构

1. 引言 1.1. 文档内容摘要 本文档规定了符合IPsec标准的系统的基本架构。它描述了如何为IP层的流量提供一组安全服务，同时适用于IPv4 [Pos81a] 和 IPv6 [DH98] 环境。本文档描述了实现IPsec的系统的要求，这些系统的基本元素以及如何将这些元素结合起来…
阅读更多...
电源控制系统架构（PCSA）之系统控制处理器组件

电源控制系统架构（PCSA）之系统控制处理器组件

目录 6.4 系统控制处理器 6.4.1 SCP组件 SCP处理器Core SCP处理器Core选择 SCP处理器核内存 系统计数器和通用计时器 看门狗 电压调节器控制 时钟控制 系统控制 信息接口 电源策略单元 传感器控制 外设访问 系统访问 6.4 系统控制处理器 系统控制处理器(SCP)是…
阅读更多...
AI创作工具：Claude2注册保姆级教程

AI创作工具：Claude2注册保姆级教程

最近软件打算多接入几个AI写作平台，包括讯飞星火，百度文心，Claude2，这样就能给用户提供更多的写作选择 经过半天的调研，讯飞星火，百度文心一言，接入都比较简单，毕竟是国内的。 在调…
阅读更多...
【java】-D参数使用

【java】-D参数使用

在开发过程中我们使用开源工具经常会用到在启动命令时候加入一个 -Dxxx 类型的参数。到底-Dxxx是干什么用的了。 官方文档 地址：文档地址 java命令使用 下面是来源于官方文档： java [options] classname [args] java [options] -jar filename [args…
阅读更多...
人力资源管理后台 === 基础环境+登陆

人力资源管理后台 === 基础环境+登陆

目录 1.人力资源项目介绍 1.1 项目架构和解决方案 1.2 课程安排 1.3 课程具备能力 1.4 课程地址 2. 拉取项目基础代码 3.项目目录和入口文件介绍 4.App.vue根组件解析 5.基础设置settings.js和导航守卫permission.js 6.Vuex的结构 7.使用模板中的Icon图标 8.扩展…
阅读更多...
node fs模板及蓝桥案例实战

node fs模板及蓝桥案例实战

文章目录 介绍文件写入writeFile 异步写入writeFileSync 同步写入appendFile / appendFileSync 追加写入createWriteStream 流式写入 文件读取readFile 异步读取readFileSync 同步读取createReadStream 流式读取 文件移动与重命名文件删除文件夹操作mkdir / mkdirSync 创建文件…
阅读更多...
Python基础：JSON保存结构化数据（详解）

Python基础：JSON保存结构化数据（详解）

1. JSON概念 JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，也易于机器解析和生产。   虽然JSON使用JavaScript语法来描述数据对象，但是JSON仍然独立于语言和平台，JSON解…
阅读更多...
三菱PLC编码器转速测量功能块(梯形图和ST代码)

三菱PLC编码器转速测量功能块(梯形图和ST代码)

编码器转速测量功能块算法公式详细讲解请参考下面文章链接： SMART PLC编码器转速测量功能块(高速计数器配置+梯形图)-CSDN博客文章浏览阅读427次。里工业控制张力控制无处不在，也衍生出很多张力控制专用控制器，磁粉制动器等，本篇博客主要讨论PLC的张力控制相关应用和算法，…
阅读更多...
Springboot实现增删改差

Springboot实现增删改差

一、包结构 二、各层代码 (1)数据User public class User {private Integer id;private String userName;private String note;public User() {super();}public User(Integer i, String userName, String note) {super();this.id i;this.userName userName;this.note note;…
阅读更多...
抖音生态融合：开发与抖音平台对接的票务小程序

抖音生态融合：开发与抖音平台对接的票务小程序

为了更好地服务用户需求，将票务服务与抖音平台结合，成为了一个创新的方向。通过开发票务小程序，用户可以在抖音平台上直接获取相关活动的票务信息，完成购票、预订等操作，实现了线上线下的有机连接。 一、开发过程 1…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023