Azure 机器学习：使用 Azure 机器学习 CLI、SDK 和 REST API 训练模型

目录

    • 环境准备
      • 克隆示例存储库
    • 示例案例
    • 在云中训练
      • 1.连接到工作区
        • Python
        • Azure CLI
        • REST API
      • 2. 创建用于训练的计算资源
      • 4. 提交训练作业
        • Python
        • Azure CLI
        • REST API
    • 注册已训练的模型
        • Python
        • Azure CLI
        • REST API

Azure 机器学习提供了多种提交 ML 训练作业的方法。 在本文中，你将了解如何使用 Azure 机器学习 CLI、SDK 和 REST API 训练模型

关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收AI产品研发负责人。

file

环境准备

  • Azure 订阅。 如果没有 Azure 订阅，请在开始操作前先创建一个免费帐户。 试用免费版或付费版 Azure 机器学习。
  • Azure 机器学习工作区。 如果没有，可以使用创建资源以开始使用一文中的步骤。

若要使用 SDK 信息，请安装适用于 Python 的 Azure 机器学习 SDK v2。

若要使用 CLI 信息，请安装适用于机器学习的 Azure CLI 和扩展。

若要使用 REST API 信息，需要以下项：

  • 工作区中的服务主体。 管理 REST 请求使用服务主体身份验证。

  • 服务主体身份验证令牌。 请按照检索服务主体身份验证令牌中的步骤检索此令牌。

  • curl 实用工具。 在适用于 Linux 的 Windows 子系统或任何 UNIX 分发版中均已提供了 [curl]程序。

克隆示例存储库

本文中的代码片段基于 Azure 机器学习示例 GitHub 存储库中的示例。 若要将存储库克隆到开发环境，请使用以下命令：

git clone --depth 1 https://github.com/Azure/azureml-examples

示例案例

本文中的示例使用鸢尾花数据集来训练 MLFlow 模型。

在云中训练

在云中训练时，必须连接到 Azure 机器学习工作区并选择将用于运行训练作业的计算资源。

1.连接到工作区

使用Python时，若要连接到工作区，需要提供标识符参数 - 订阅、资源组和工作区名称。 你将在 azure.ai.ml 命名空间的 MLClient 中使用这些详细信息来获取所需 Azure 机器学习工作区的句柄。 若要进行身份验证，请使用[默认 Azure 身份验证]。 请查看此示例，了解有关如何配置凭据和连接到工作区的更多详细信息。

Python
# Python代码
#import required libraries
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential#Enter details of your Azure Machine Learning workspace
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace = '<AZUREML_WORKSPACE_NAME>'#connect to the workspace
ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
Azure CLI

使用 Azure CLI 时，需要提供标识符参数 - 订阅、资源组和工作区名称。 尽管可以为每个命令指定这些参数，但你也可以设置将用于所有命令的默认值。 使用以下命令设置默认值。 将 <subscription ID>、<Azure Machine Learning workspace name> 和 <resource group> 替换为配置的值：

# Azure CLI
az account set --subscription <subscription ID>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>
REST API

本文中的 REST API 示例使用 $SUBSCRIPTION_ID、$RESOURCE_GROUP、$LOCATION 和 $WORKSPACE 占位符。 将占位符替换为自己的值，如下所示：

  • $SUBSCRIPTION_ID：Azure 订阅 ID。
  • $RESOURCE_GROUP：包含你的工作区的 Azure 资源组。
  • $LOCATION：工作区所在的 Azure 区域。
  • $WORKSPACE：Azure 机器学习工作区的名称。
  • $COMPUTE_NAME：Azure 机器学习计算群集的名称。

管理 REST 请求一个服务主体身份验证令牌。 可使用以下命令检索令牌。 令牌存储在 $TOKEN 环境变量中：

TOKEN=$(az account get-access-token --query accessToken -o tsv)

服务提供商使用 api-version 参数来确保兼容性。 api-version 参数因服务而异。 将 API 版本设置为变量以适应将来的版本：

API_VERSION="2022-05-01"

使用 REST API 进行训练时，必须将数据和训练脚本上传到工作区可以访问的存储帐户。 以下示例获取你的工作区的存储信息，并将其保存到变量中，以便稍后使用：

# Get values for storage account
response=$(curl --location --request GET "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/datastores?api-version=$API_VERSION&isDefault=true" \
--header "Authorization: Bearer $TOKEN")
AZUREML_DEFAULT_DATASTORE=$(echo $response | jq -r '.value[0].name')
AZUREML_DEFAULT_CONTAINER=$(echo $response | jq -r '.value[0].properties.containerName')
export AZURE_STORAGE_ACCOUNT=$(echo $response | jq -r '.value[0].properties.accountName')

2. 创建用于训练的计算资源

Azure 机器学习计算群集是一种完全托管的计算资源，可用于运行训练作业。 在以下示例中，创建了名为 cpu-compute 的计算群集。

# Python
from azure.ai.ml.entities import AmlCompute# specify aml compute name.
cpu_compute_target = "cpu-cluster"try:ml_client.compute.get(cpu_compute_target)
except Exception:print("Creating a new cpu compute target...")compute = AmlCompute(name=cpu_compute_target, size="STANDARD_D2_V2", min_instances=0, max_instances=4)ml_client.compute.begin_create_or_update(compute).result()

# Azure CLI
az ml compute create -n cpu-cluster --type amlcompute --min-instances 0 --max-instances 4

# REST API
curl -X PUT \"https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/computes/$COMPUTE_NAME?api-version=$API_VERSION" \-H "Authorization:Bearer $TOKEN" \-H "Content-Type: application/json" \-d '{"location": "'$LOCATION'","properties": {"computeType": "AmlCompute","properties": {"vmSize": "Standard_D2_V2","vmPriority": "Dedicated","scaleSettings": {"maxNodeCount": 4,"minNodeCount": 0,"nodeIdleTimeBeforeScaleDown": "PT30M"}}}
}'

4. 提交训练作业

Python

若要运行此脚本，你将使用 ./sdk/python/jobs/single-step/lightgbm/iris/src/ 下用于执行 main.py Python 脚本的 command。 该命令通过将其作为 job 提交到 Azure 机器学习来运行。
若要使用无服务器计算，请删除此代码中的 compute="cpu-cluster"。

# Python
from azure.ai.ml import command, Input# define the command
command_job = command(code="./src",command="python main.py --iris-csv ${{inputs.iris_csv}} --learning-rate ${{inputs.learning_rate}} --boosting ${{inputs.boosting}}",environment="AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu@latest",inputs={"iris_csv": Input(type="uri_file",path="https://azuremlexamples.blob.core.windows.net/datasets/iris.csv",),"learning_rate": 0.9,"boosting": "gbdt",},compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.jobs.create_or_update(command_job)
# get a URL for the status of the job
returned_job.studio_url

在上述示例中，你配置了以下内容：

  • code - 用于运行命令的代码所在的路径
  • command - 需要运行的命令
  • environment - 运行训练脚本所需的环境。 在此示例中，我们使用 Azure 机器学习所提供的名为 AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu 的精选或现成环境。 通过使用 @latest 指令来使用此环境的最新版本。 你还可以通过指定基本 docker 映像并为其指定 conda yaml 来使用自定义环境。
  • inputs - 命令的输入字典，采用名称值对的形式。 键是作业上下文中的输入名称，值是输入值。 在 command 中使用 ${{inputs.<input_name>}} 表达式引用输入。 若要将文件或文件夹用作输入，可以使用 Input 类。 有关详细信息，请参阅 SDK 和 CLI v2 表达式。

提交作业时，会向 Azure 机器学习工作室中的作业状态返回一个 URL。 使用工作室 UI 查看工作进度。 你还可以使用 returned_job.status 检查作业的当前状态。

Azure CLI

此示例中使用的 az ml job create 命令需要 YAML 作业定义文件。 此示例中使用的文件内容如下：

备注

若要使用无服务器计算，请删除此代码中的 compute: azureml:cpu-cluster"。

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
code: src
command: >-python main.py --iris-csv ${{inputs.iris_csv}}--C ${{inputs.C}}--kernel ${{inputs.kernel}}--coef0 ${{inputs.coef0}}
inputs:iris_csv: type: uri_filepath: wasbs://datasets@azuremlexamples.blob.core.windows.net/iris.csvC: 0.8kernel: "rbf"coef0: 0.1
environment: azureml:AzureML-sklearn-0.24-ubuntu18.04-py37-cpu@latest
compute: azureml:cpu-cluster
display_name: sklearn-iris-example
experiment_name: sklearn-iris-example
description: Train a scikit-learn SVM on the Iris dataset.

上面配置了：

  • code - 用于运行命令的代码所在的路径
  • command - 需要运行的命令
  • inputs - 命令的输入字典，采用名称值对的形式。 键是作业上下文中的输入名称，值是输入值。 在 command 中使用 ${{inputs.<input_name>}} 表达式引用输入。 有关详细信息，请参阅 SDK 和 CLI v2 表达式。
  • environment - 运行训练脚本所需的环境。 在此示例中，我们使用 Azure 机器学习所提供的名为 AzureML-sklearn-0.24-ubuntu18.04-py37-cpu 的精选或现成环境。 通过使用 @latest 指令来使用此环境的最新版本。 你还可以通过指定基本 docker 映像并为其指定 conda yaml 来使用自定义环境。 若要提交作业，请使用以下命令。 训练作业的运行 ID（名称）存储在 $run_id 变量中：
run_id=$(az ml job create -f jobs/single-step/scikit-learn/iris/job.yml --query name -o tsv)

你可以使用存储的运行 ID 返回有关作业的信息。 --web 参数打开 Azure 机器学习工作室 Web UI，你可在其中深入了解作业的详细信息：

az ml job show -n $run_id --web

提交作业时，必须将训练脚本和数据上传到 Azure 机器学习工作区可访问的云存储位置。

  1. 使用以下 Azure CLI 命令上传训练脚本。 该命令指定包含训练所需文件的目录，而不是指定单个文件。 若要改用 REST 来上传数据，请参阅放置 Blob 参考：

    az storage blob upload-batch -d $AZUREML_DEFAULT_CONTAINER/testjob -s cli/jobs/single-step/scikit-learn/iris/src/ --account-name $AZURE_STORAGE_ACCOUNT

  2. 创建对训练数据的版本化参考。 在此示例中，数据已在云中，位于 https://azuremlexamples.blob.core.windows.net/datasets/iris.csv。 有关引用数据的详细信息，请参阅 Azure 机器学习中的数据：

    DATA_VERSION=$RANDOM
curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/data/iris-data/versions/$DATA_VERSION?api-version=$API_VERSION" \
--header "Authorization: Bearer $TOKEN" \
--header "Content-Type: application/json" \
--data-raw "{\"properties\": {\"description\": \"Iris dataset\",\"dataType\": \"uri_file\",\"dataUri\": \"https://azuremlexamples.blob.core.windows.net/datasets/iris.csv\"}
}"

  3. 注册对训练脚本的版本化参考，用于作业。 在此示例中，脚本位置是你在步骤 1 中将数据上传到的默认存储帐户和容器。 将返回带版本训练代码的 ID 并将其存储在 $TRAIN_CODE 变量中：

    TRAIN_CODE=$(curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/codes/train-lightgbm/versions/1?api-version=$API_VERSION" \
--header "Authorization: Bearer $TOKEN" \
--header "Content-Type: application/json" \
--data-raw "{\"properties\": {\"description\": \"Train code\",\"codeUri\": \"https://$AZURE_STORAGE_ACCOUNT.blob.core.windows.net/$AZUREML_DEFAULT_CONTAINER/testjob\"}
}" | jq -r '.id')

  4. 创建群集将用于运行训练脚本的环境。 在此示例中，我们使用 Azure 机器学习所提供的名为 AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu 的精选或现成环境。 以下命令检索环境版本列表，其中最新版本位于集合顶部。 jq 用于检索最新 ([0]) 版本的 ID，然后将其存储到 $ENVIRONMENT 变量中。

    ENVIRONMENT=$(curl --location --request GET "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/environments/AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu/versions?api-version=$API_VERSION" --header "Authorization: Bearer $TOKEN" | jq -r .value[0].id)

  5. 最后，提交作业。 以下示例介绍如何提交作业，以及如何参考训练代码 ID、环境 ID、输入数据的 URL 和计算群集的 ID。 作业输出位置将存储在 $JOB_OUTPUT 变量中：

REST API
```
run_id=$(uuidgen)
curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/jobs/$run_id?api-version=$API_VERSION" \
--header "Authorization: Bearer $TOKEN" \
--header "Content-Type: application/json" \
--data-raw "{\"properties\": {\"jobType\": \"Command\",\"codeId\": \"$TRAIN_CODE\",\"command\": \"python main.py --iris-csv \$AZURE_ML_INPUT_iris\",\"environmentId\": \"$ENVIRONMENT\",\"inputs\": {\"iris\": {\"jobInputType\": \"uri_file\",\"uri\": \"https://azuremlexamples.blob.core.windows.net/datasets/iris.csv\"}},\"experimentName\": \"lightgbm-iris\",\"computeId\": \"/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/computes/$COMPUTE_NAME\"}
}"
```

注册已训练的模型

以下示例介绍如何在 Azure 机器学习工作区中注册模型。

Python
from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypesrun_model = Model(path="azureml://jobs/{}/outputs/artifacts/paths/model/".format(returned_job.name),name="run-model-example",description="Model created from run.",type=AssetTypes.MLFLOW_MODEL
)ml_client.models.create_or_update(run_model)
Azure CLI
az ml model create -n sklearn-iris-example -v 1 -p runs:/$run_id/model --type mlflow_model
REST API
curl --location --request PUT "https://management.azure.com/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP/providers/Microsoft.MachineLearningServices/workspaces/$WORKSPACE/models/sklearn/versions/1?api-version=$API_VERSION" \
--header "Authorization: Bearer $TOKEN" \
--header "Content-Type: application/json" \
--data-raw "{\"properties\": {\"modelType\": \"mlflow_model\",\"modelUri\":\"runs:/$run_id/model\"}
}"

关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收AI产品研发负责人。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/186033.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Java简介、基本语法

Java简介、基本语法

一、Java简介&#xff1a; Java 是由 Sun Microsystems 公司于 1995 年 5 月推出的 Java 面向对象程序设计语言和 Java 平台的总称。 Java主要的特性&#xff1a; 1、Java语言是简单的的&#xff1a; Java语言的语法与C、C语言接近。Java丢弃了C中的一些特性&#xff0c;如操…
阅读更多...
泛型编程 -- 模板详解

泛型编程 -- 模板详解

一、模板 在没有模板之前&#xff0c;如果我们写一个swap()两数交换函数&#xff0c;因为我们要支持 int 与int 交换 、double 与 double 交换等等情况&#xff0c;所以要实现swap()函数的多个重载&#xff0c;显得很繁琐&#xff0c;于是就引入了模板。 模板就是在需要模板的地…
阅读更多...
HT8313 D/AB切换 音频功率放大器

HT8313 D/AB切换 音频功率放大器

HT8313具有AB类和D类的自Y切换功能&#xff0c;在受到D类功放EMI干扰困扰时&#xff0c;可随时切换至AB类音频功放模式&#xff08;此时电荷泵升压功能关闭&#xff09;。 HT8313内部固定28dB增益&#xff0c;内置的关断功能使待机电流Z小化&#xff0c;还集成了输出端过流保护…
阅读更多...
用Python制作截图小工具

用Python制作截图小工具

Python编程语言允许我们执行各种任务&#xff0c;所有这些都是在简单模块和短小精悍的代码的帮助下完成的。在Python的帮助下进行屏幕截图就是这样一项任务。 Python为我们提供了许多模块&#xff0c;使我们能够执行不同的任务。有多种方法可以使用Python及其库进行屏幕截图。…
阅读更多...
利用 Kubernetes 降本增效？EasyMR 基于 Kubernetes 部署的探索实践

利用 Kubernetes 降本增效？EasyMR 基于 Kubernetes 部署的探索实践

Kubernetes 是用于编排容器化应用程序的云原生系统。最初由 Google 创建&#xff0c;如今由 Cloud Native Computing Foundation&#xff08;CNCF&#xff09;维护更新。 Kubernetes 是市面上最受欢迎的集群管理解决方案之一。它自动化容器化应用程序的部署、扩展和管理&#…
阅读更多...
Java学习之路 —— IO、特殊文件

Java学习之路 —— IO、特殊文件

文章目录 1. I/O1.1 常用API1.2 I/O流1.2.1 字节流1.2.2 try-catch-finally和try-with-resource1.2.3 字符流1.2.4 其他的一些流 2. I/O框架3. 特殊文件3.1. Properties3.2 XML 1. I/O 1.1 常用API // 1. 创建文件对象File file new File("E:\\ComputerScience\\java\\…
阅读更多...
使用 PPO 算法进行 RLHF 的 N 步实现细节

使用 PPO 算法进行 RLHF 的 N 步实现细节

当下&#xff0c;RLHF/ChatGPT 已经变成了一个非常流行的话题。我们正在致力于更多有关 RLHF 的研究&#xff0c;这篇博客尝试复现 OpenAI 在 2019 年开源的原始 RLHF 代码库&#xff0c;其仓库位置位于 openai/lm-human-preferences。尽管它具有 “tensorflow-1.x” 的特性&am…
阅读更多...
期望、方差

期望、方差

一、期望和方差的定义 随机变量(Random Variable) X 是一个映射&#xff0c;把随机试验的结果与实数建立起了一一对应的关系。而期望与方差是随机变量的两个重要的数字特征。 1. 期望(Expectation, or expected value) 期望是度量一个随机变量取值的集中位置或平均水平的最基…
阅读更多...
大会技术“硬核”资讯来啦！点击预约 IoTDB 现场一对一调优咨询服务

大会技术“硬核”资讯来啦！点击预约 IoTDB 现场一对一调优咨询服务

承诺大家的&#xff0c;2023 IoTDB 用户大会现场“快讯”第一弹来啦&#xff01; 我们将在大会现场设置 IoTDB Workshop&#xff0c;IoTDB 原厂团队将免费提供一对一技术咨询、使用调优、疑问解答等服务。 现场提供的一对一咨询、调优时长为 30 分钟&#xff0c;在您预约的时间…
阅读更多...
前后端分离项目在Linux的部署方法、一台Nginx如何部署多个Web应用

前后端分离项目在Linux的部署方法、一台Nginx如何部署多个Web应用

需求场景&#xff1a;目前有三个前后端分离项目&#xff08;vuespringboot&#xff09;&#xff0c;Linux服务器一台&#xff0c;nginx一个&#xff0c;比如服务器地址为www.xxxxxxx.com 我想通过80端口访问服务①(即访问www.xxxxxxx.com)&#xff1b;通过81端口访问服务②(即…
阅读更多...
android 数独小游戏 经典数独·休闲益智

android 数独小游戏 经典数独·休闲益智

一款经典数独训练app 标题资源下载 &#xff08;0积分&#xff09;https://download.csdn.net/download/qq_38355313/88544810 首页页面&#xff1a; 1.包含有简单、普通、困难、大师四种难度的数独挑战供选择&#xff1b; 记录页面&#xff1a; 1.记录用户训练过的数独信息&…
阅读更多...
容性负载箱与电容器的关系是什么？

容性负载箱与电容器的关系是什么？

容性负载箱用于测试电容器性能的设备&#xff0c;电容器是储存电能的元件&#xff0c;具有储存和释放电荷的能力。容性负载箱通过对电容器施加不同的负载&#xff0c;可以测量电容器的容量、电压响应、损耗等参数。 容性负载箱与电容器的关系主要体现在以下几个方面&#xff1a…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023