开发者都能玩转的大模型训练

本篇文章授权活动官方亚马逊云科技文章转发、改写权,包括不限于在 亚马逊云科技开发者社区, 知乎,自媒体平台,第三方开发者媒体等亚马逊云科技官方渠道

目录

  • 前言
  • 概念基础
  • 原理核心
  • 入手体验
  • 体验收获
  • 结束语
  • 参考文献

前言

看了刚结束的亚马逊云科技 2023 re:Invent 大会,了解到Amazon SageMaker Canvas是亚马逊云科技最近刚推出的一种完全托管的机器学习服务,开发者通过Amazon SageMaker Canvas可以快速且轻松地构建、训练机器语言学习模型,最重要的是无代码界面形式的。而且基于亚马逊云科技的云服务器优势,可以直接将模型部署到线上托管环境上,非常方便,且无技术“隔阂”,无缝操作。据我所知道的,亚马逊云科技的Amazon SageMaker Canvas提供的有非常灵活的分布式训练选项,开发者可以根据自己特定的工作流程进行调整,可以在分布式环境中高效处理体量非常大的数据,而且它的使用流程非常简单,不管是人工智能领域的专家,还是刚接触人工智能领域的初学者,都可以开通即用。那么接下来就来分享一下体验Amazon SageMaker Canvas的服务,以及个人的体验感受。

概念基础

废话不多说,秉承之前的习惯,先来了解Amazon SageMaker的基础概念。根据亚马逊云科技官方的信息显示,Amazon SageMaker是一款完全托管的机器学习服务,开发人员通过Amazon SageMaker可以快速且轻松地构建和训练机器学习模型,然后结合亚马逊云科技的云服务,可以直接将模型部署到生产托管环境中。

Amazon SageMaker提供了常见的机器学习算法,根据介绍这些算法都经过了优化和完善,可以在分布式环境中高效处理非常大的数据。以及Amazon SageMaker提供灵活的分布式训练选项,开发使用者可根据自己实际的特定工作流程进行调整,适用性非常的强悍。

原理核心

接着再来看一下Amazon SageMaker的基本工作原理核心,虽然可以直接去使用体验就能知道它的工作原理,但是作为初用者,还是要去看一下亚马逊云科技官方关于Amazon SageMaker的工作原理介绍。这里引用亚马逊云科技官方关于Amazon SageMaker的工作原理介绍,可以知道Amazon SageMaker可以完成各种机器学习生命周期的任务,涵盖了数据收集、训练、部署和MLOps。由于Amazon SageMaker中的Canvas是无代码界面,我们在使用的时候可以直接访问现成的FM和预测模型,以及创建自己自定义的模型,都可以在几分钟内提取信息且生成AI输出。

Amazon SageMaker Canvas 支持 Amazon Bedrock 中的 FM以及 SageMaker JumpStart 中的公共模型 MPT等,在 Amazon SageMaker Canvas 中使用这些 FM 可以生成、提取和总结内容,以及使用现成的模型对内容进行分析和分类,从而进行情绪分析、对象检测或文档分析。通过亚马逊云科技Amazon Bedrock 的使用步骤可以知道,使用现成的模型,只需选择模型、上传数据,然后单击即可生成模型输出。

作为使用者,我们可以构建自己的自定义模型,从而进行分类、回归、预测、文本分类或图像分类,且无需编码,如果开始使用自定义模型的时候,我们可以提前导入来自不同来源的数据,选择要预测的值,会自动准备和浏览数据,以及可以通过单击几次的操作来创建 ML 模型。

入手体验

在开始体验之前,还是需要提前做一些准备工作,首先要确保有亚马逊云科技的账号,如果没有请先去注册账号并设置绑定个人信息,这里不再做详细介绍。已经有亚马逊云科技账号的情况下,就可以直接打开关于Amazon SageMaker的体验入口:Amazon SageMaker 机器学习_机器学习模型构建训练部署-AWS云服务,然后登录账号进入,如下图所示:

1、Amazon SageMaker开通并使用

登录亚马逊云科技账号之后,依然是在控制台找到或者搜索Amazon SageMaker,由于使用Amazon SageMaker Canvas之前需要先开通使用Amazon SageMaker,所以具体开通并使用的操作如下所示:

找到Amazon SageMaker服务之后,直接进入Amazon SageMaker的管理主页,进行添加实例操作,也就是直接开通使用Amazon SageMaker的设置,这里需要说明一下,在创建域的时候,需要根据自己实际来选择设置,如下所示:

然后去创建域,这里根据实际情况来设置,本文示例以单个用户来进行设置,如下所示:

点击设置按钮之后,需要等待几分钟,才能创建域,具体如下所示:

2、Amazon SageMaker Canvas开通使用

同过上面关于Amazon SageMaker的开通和使用之后,接下来就是对Amazon SageMaker Canvas的开通和使用,因为Canvas是最近的新服务,无界面的形式存在,具体操作步骤如下所示:

在Amazon SageMaker启动的时候根据想要体验的类型进行选择,这里肯定是选择Canvas,具体操作如下所示:

这里的操作示例选择的是Canvas,然后下一步,仍然需要短暂的等待,具体如下所示:

需要等待一会儿,然后就可以了。成功之后,会有所说明,如下所示:

点击立即开始按钮,直接体验,如下所示:

打开之后,显示基本信息,然后点击启动按钮即可,但是需要等数十分钟,如下所示:

等待结束之后,终于可以直接体验了,这里直接用浏览器翻译,把英文转换成汉语,如下所示:

但是目前还不支持中文输入,可以使用英文输入,这里我又把页面的汉语切换成英文,如下所示:

如果想要重新开始使用,可以直接点击左上角的新建对话,如下所示:

具体体验效果,对话如下所示:

其实还有一个对比比较的功能,如下所示:

点击比较按钮之后,显示下面的对话框,可以根据自己想要用的对比进行选择,如下所示:

这里示例我选择了切换为Dolly-3B-Instruct,如下所示:

依然是等待10分钟左右,可以切换完成。如果选择另外的,依然是上述步骤操作即可。

3、小结

以上就是笔者通过亲自上手体验,从开通Amazon SageMaker服务,到对应的具体项设置,以及体验Amazon SageMaker Canvas训练等流程的操作,完整的体验了Amazon SageMaker Canvas的使用体验,尤其是关于训练使用的体验,其他方面的内容这里不再多讲,读者如有兴趣,可以去亚马逊云科技官方文档查看。

体验收获

通过上文关于Amazon SageMaker Canvas的使用体验,作为开发者以及使用者,个人觉得Amazon SageMaker Canvas的服务功能强大,而且通过设置对应的具体才发现Amazon SageMaker服务的功能不仅很多,而且还非常的智能,尤其是在使用Canvas的时候,几乎是进行的无代码机器学习,彻底颠覆了我之前对机器学习的认知,感觉发现了“新大陆”。通过这些体验,我觉得这个Amazon SageMaker Canvas的机器学习结合数据工具,可以很好的帮助我们体验使用机器语言训练,对大家入门大语言模型有非常大的帮助。

但是任何一个服务和功能,有优点,肯定有缺点。我觉得Amazon SageMaker Canvas不管是在创建的时候,还是切换其他模型的时候,过程都有点长,我觉得作为使用者需要等待10分钟左右,是一个不太好的体验,所以我觉得亚马逊云科技官方关于Amazon SageMaker Canvas的初始化时长能否再有所缩短就更完美了,期待官方的好消息!

结束语

通过过本文的体验分享,想必读者对于亚马逊云科技的Amazon SageMaker Canvas服务已经有所掌握和了解了,还是那句话不管您是人工智能领域的大神,还是初入机器学习方向,任何开发者都可以通过使用亚马逊云科技的Amazon SageMaker Canvas都能够玩的“飞起”,尤其是刚想入门机器学习的,是一个提升自信心和相关经验的有效方式,这个服务非常的深入人心,就是好用,个人觉得大有可以引领机器学习领域的先锋。但是话又说回来了,本文关于Amazon SageMaker Canvas的分享,只是做了简单的使用体验,它的功能远不止文章中所提到的,还有很多功能需要读者自己去体验和尝试,所以想要深度使用Amazon SageMaker Canvas服务,建议读者去亚马逊云科技官网对应的Amazon SageMaker Canvas服务介绍进行了解和体验,个人觉得要想入门机器学习,使用Amazon SageMaker Canvas就足够了。

参考文献

1、亚马逊云科技Amazon SageMaker: Amazon SageMaker 机器学习_机器学习模型构建训练部署-AWS云服务

2、亚马逊云科技Amazon SageMaker Canvas:无代码机器学习 – Amazon Web Services

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/276712.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

接口自动化测试框架搭建

一、原理及特点 参数放在XML文件中进行管理用httpClient简单封装一个httpUtils工具类测试用例管理使用了testNg管理,使用了TestNG参数化测试,通过xml文件来执行case。测试报告这里用到第三方的包ReportNG 项目组织用Maven 二、准备 使用工具&#xff1…

git统计提交代码量

统计用户提交的代码量 Windows系统进入项目目录下(包含.git的目录),右击空白处,点击Git Bash Here git log --authorxxxxxx --since2023-12-08 12:00:00 --until2023-12-15 12:00:00 --prettytformat: --numstat | awk { add …

【Pytorch】Transposed Convolution

文章目录 1 卷积2 反/逆卷积3 MaxUnpool / ConvTranspose4 encoder-decoder5 可视化 学习参考来自: 详解逆卷积操作–Up-sampling with Transposed Convolution PyTorch使用记录 https://github.com/naokishibuya/deep-learning/blob/master/python/transposed_co…

阿里测试师用UI自动化测试实现元素定位!

随着IT行业的发展,产品愈渐复杂,web端业务及流程更加繁琐,目前UI测试仅是针对单一页面,操作量大。为了满足多页面功能及流程的需求及节省工时,设计了这款UI 自动化测试程序。旨在提供接口,集成到蜗牛自动化…

Python3开发笔记(简洁版)

一、开发编辑器 1. pycharm 2. IDLE(Python自带软件) 方法:Microsoft Store搜索 Python 安装 二、数据类型 Python中有以下几种主要的数据类型: 数字(Numbers)、 字符串(Strings&#xff09…

Django 模型操作 - 多对多(九)

一、多对多关联管理器(对象调用) 前提:多对多(双向均有关联管理器)一对多(只有多的那个类的对象有关联管理器,即反向才有) 语法格式:正向:属性名反向:小写类名加 _set注意…

cfa一级考生复习经验分享系列(三)

从总成绩可以看出,位于90%水平之上,且置信区间全体均高于90%线。 从各科目成绩可以看出,所有科目均位于90%线上或高于90%线,其中,另类与衍生、公司金额、经济学、权益投资、固定收益、财报分析表现较好,目测…

【数学知识】LCP42: 玩具套圈

作者推荐 【动态规划】【广度优先搜索】LeetCode:2617 网格图中最少访问的格子数 本文涉及的基础知识点 优化后,就不需要二分了。 二分查找算法合集 题目 「力扣挑战赛」场地外,小力组织了一个套玩具的游戏。所有的玩具摆在平地上,toys…

【Monitor, Maintenance Operation, Script code/prgramme】

Summary of M,M&O,Program JD) Monitor & M&O Symbio信必优) Job chance/opportunities on Dec 12th, 20231.1) Content 招聘JD job description:1.2) suggestions from Ms Liang/Winnie on Wechat app1.3) Java微服务是什么?1.3.1) [URL Java 微服务](…

【docker】容器使用(Nginx 示例)

查看 Docker 客户端命令选项 docker上面这三张图都是 常用命令: run 从映像创建并运行新容器exec 在运行的容器中执行命令ps 列出容器build 从Dockerfile构建映像pull 从注册表下载图像push 将图像上载到注册表…

2023,真人漫改走上IP高地

你能接受自己的纸片人老公/老婆变成了真人吗? 无论大家能不能接受,真人漫改都已经成为了影视行业的新趋势,而阅文集团收购腾讯动漫的举措,无疑是为漫改剧添了一把火。 在阅文宣布以6亿人民币的价格收购腾讯动漫旗下的相关业务以…

Python:如何解决MODIS GRID(正弦投影/GCTP_SNSOID)的重投影问题?

博客已同步微信公众号:GIS茄子;若博客出现纰漏或有更多问题交流欢迎关注GIS茄子,或者邮箱联系(推荐-见主页). 01 投影参数了解 这里我将用手上存有的MCD12Q1(土地利用数据集)和MOD11A2(地表温度数据集&…