太卷了，阿里云免费1个月大模型算力额度，玩转Llama3.1/Qwen2等训练推理

news/2024/9/16 14:41:41/文章来源:https://www.cnblogs.com/obullxl/p/18326524/NTopic2024072601

早上收到朋友转发的阿里云公众号推文，阿里云为用户免费提供 1 个月的训练推理等算力额度（上阿里云，免费玩转 Llama 405B 「超大杯」！）。想想上周老牛同学为了制作微调技术教程，演示训练Qwen2-0.5B小尺寸大模型就跑了一个晚上（基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）），如今阿里云竟然免费提供 1 个月训练推理算力，而且还支持Llama3.1-405B超大尺寸模型，标题和内容确实把老牛同学给够吸住了。

虽然老牛同学非常相信阿里云在中国市场的地位，但还是有那么一点点担心是标题党，因此老牛同学决定验证一下，走一遍完整开通和使用流程，最后给出自己的感受给大家做个参考。

开通阿里云百炼服务

推文写得很清楚，免费额度是为阿里云百炼平台用户提供的，因此先开通注册：https://www.aliyun.com/product/bailian

说实话，取名真的很重要，不仅要好听好记还要切实际功能。比如千问：作为你的人工智能助理，随你问，我都能答；百炼：千锤百炼，大模型训练微调，就是不断打磨和调整优化过程。

阿里云百炼：是基于通义大模型、行业大模型以及三方大模型的一站式大模型开发平台。面向企业客户和个人开发者，提供完整的模型服务工具和全链路应用开发套件，预置丰富的能力插件，提供 API 及 SDK 等便捷的集成方式，高效完成大模型应用构建。

产品定价：阿里云百炼大模型服务平台在调用 API 后将产生计量和计费。各个领域的模型采用不同的计量单元，不同模型单独制定各自的计费单价和免费额度等规则。（特别注意：不同模型是单独计价和单价免费额度规则，算力额度有可能针对不同模型不一样！）

点击“立即开通”橙色大按钮，按照提示，一步一步完成注册即可：

开通阿里云百炼平台服务

我们可以直接通过支付宝、淘宝等方式登录（老牛同学使用支付宝扫描登录）。登录成功，需要同意“阿里云百炼服务协议”，我们主要是用于学习和研究，肯定不会干那些超纲的事情，无脑点击“同意”按钮就行了。

然后，我们就进入了百炼平台控制台首页：

百炼平台控制台首页

看到“免费额度：100/100 次”小字样，老牛同学之前的担心加重了一点，回头想想还是继续往下看看，毕竟是阿里云，应该是不能随便开玩笑的。

点击“去开通 →”按钮，又来个弹框确认开通。不过支持的模型倒是挺多的，支持 139 个推理（包括 Llama3.1-405B 大模型）、17 个部署和 14 个训练，应该来说我们对学习和研究类需求足够了：

确认开通百炼大模型服务

勾选“我已阅读并同意《模型管理服务协议》”，然后点击“确认开通”按钮，整个开通流程就结束了！

使用 API 调用推理服务

首先体验一下大模型的推理服务，选择“模型广场”，选择任意一个模型（如：通义千问-Max），点击“API 调用示例”：

选择模型进行API推理

可以看到，API 调用示例提供了Python、Java和Curl共 3 种方式，对于我们来说也应该足够了（老牛同学就不演示了）。

最关键的是，点击“模型详情”，可以看到计费方式和免费额度信息：

模型详情-免费额度

可以看到，免费额度信息如下：

免费的 Token 数量有限制（如：通义千问-Max 是 100 万个）
之前推文中提到的，免费 1 个月，是指这些免费额度仅 1 个月有效期，不是老牛同学想象的免费使用 1 个月！

到这里，老牛同学感觉有一点点失望了，但是老牛同学对推理要求不多，在看看模型训练如何免费的。

使用百炼平台进行模型训练

选择“模型工具”-“模型调优”，然后点击“训练新模型”按钮，然后在弹框选择“高效训练”（就是老牛同学上周文章中的微调）

点击“下一步”，选择“预置模型”，在下拉框中选择“通义千问-开源版-7B”模型（模型没有强制要求）

点击“下一步”，需要选择训练数据集，因之前没有训练过，还没有数据集，因此我们点击“管理训练集”增加数据集

数据集是jsonl文件，单个 JSON 的格式需要符合 ChatML 格式，样例如下：

{"messages": [{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "谁在文艺复兴时期绘制人体?"}, {"role": "assistant", "content": "文艺复兴时期是一个关于艺术、文化和学术的复兴运动，在这个时期，许多艺术家都绘制了人体。"}]}

因此，老牛同学上周微调用的文本分类的原始数据集需要格式化处理一下（评论区有最终文件链接），Python 代码如下：

import os
import json# 训练数据集文件
BAS_DATA_DIR = 'D:\ModelSpace\Qwen2'
RAW_TRAIN_FILE_PATH = os.path.join(BAS_DATA_DIR, os.path.join('zh_cls_fudan-news', 'train.jsonl'))
NEW_TRAIN_FILE_PATH = os.path.join(BAS_DATA_DIR, 'train-ChatML.jsonl')# 将原始数据集转换为ChatML格式的新数据集
message_list = []# 读取原JSONL文件
with open(RAW_TRAIN_FILE_PATH, "r", encoding="utf-8") as file:for line in file:# 解析每一行原始数据（每一行均是一个JSON格式）data = json.loads(line)text = data["text"]catagory = data["category"]output = data["output"]message_part_1 = {"role": "system", "content": "You are a helpful assistant"}message_part_2 = {"role": "user", "content": f"你是一个文本分类领域的专家，你会接收到一段文本和几个潜在的分类选项列表，请输出文本内容的正确分类。\n{text}\n分类选项列表:{catagory}"}message_part_3 = {"role": "assistant", "content": output}message = {"messages": [message_part_1, message_part_2, message_part_3]}message_list.append(message)# 保存处理后的JSONL文件，每行也是一个JSON格式
with open(NEW_TRAIN_FILE_PATH, "w", encoding="utf-8") as file:for message in message_list:file.write(json.dumps(message, ensure_ascii=False) + "\n")

如果大家不想对原始的文件进行处理了，可以到评论区直接下载老牛同学已经处理好的数据集文件。

在新打开页面，点击“新增数据集”，勾选“训练集”（文件最大支持 20MB），然后处理好的文件上次即可（裁剪一下，留下 1000 行）。

导入成功之后，可以查看数据样例，还可以单行进行处理：

训练数据集样例