使用生成式 AI 增强亚马逊云科技智能文档处理

数据分类、提取和分析对于处理大量文档的组织来说可能具有挑战性。传统的文档处理解决方案是手动的、昂贵的、容易出错的,并且难以扩展。利用 Amazon Textract 等 AI 服务,亚马逊云科技智能文档处理(IDP)允许您利用业界领先的机器学习(ML)技术来快速准确地处理任何扫描文档或图像中的数据。生成式人工智能(生成式AI)补充了 Amazon Textract, 以进一步自动化文档处理工作流程。诸如标准化关键字段和汇总输入数据等功能支持更快地管理文档流程工作流程,同时减少错误的可能性。

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术,观点,和项目,并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏,看到这里请一定不要匆匆划过,点这里让它成为你的技术宝库!

生成式 AI 由称为基础模型(FMs)的大型 ML 模型驱动。FMs 正在改变您可以解决传统上复杂文档处理工作负载的方式。除了现有的功能之外,企业需要汇总来自诸如财务报告和银行对账单等文档的特定类别的信息。FMs 使从提取的数据中生成此类见解变得更加容易。为了优化人工审核所花费的时间并提高员工的工作效率,可以以自动化的方式标记诸如电话号码中缺少数字,缺少文档或地址中缺少门牌号等错误。在当前场景中,您需要投入资源通过人工审核和复杂的脚本来完成这些任务。这种方法既乏味又昂贵。FMs 可以帮助以更快的速度、更少的资源完成这些任务,并将不同的输入格式转换为可以进一步处理的标准模板。在亚马逊云科技,我们提供诸如 Amazon Bedrock 等服务,这是使用FMs构建和扩展生成式 AI 应用程序的最简单方法。 Amazon Bedrock 是一个完全托管的服务,通过 API 提供来自领先的 AI 创业公司和 Amazon FMs,以便您可以找到最适合您要求的模型。 我们还提供 Amazon SageMaker JumpStart,它允许 ML 从业人员从广泛的开源FMs中进行选择。 ML 从业人员可以将FMs部署到专用 Amazon SageMaker 实例中从一个网络隔离的环境中,并使用SageMaker 定制模型进行模型训练和部署。

Ricoh 提供旨在帮助客户管理和优化业务信息流的工作场所解决方案和数字化转型服务。产品组合解决方案开发副总裁 Ashok Shenoy 说:“我们正在将生成式 AI 添加到我们的 IDP 解决方案中,以帮助客户利用诸如问答、汇总和标准化输出等新功能更快、更准确地完成工作。 亚马逊云科技允许我们在保持每个客户的数据分离和安全的同时利用生成式AI。”

在本文中,我们将分享如何使用生成式 AI 增强亚马逊云科技上的 IDP 解决方案。

改进 IDP 流程

在本节中,我们将回顾如何通过 FMs 增强传统的 IDP 流程,并通过 Amazon Textract 与 FMs 的示例用例进行演练。

Amazon IDP 由三个阶段组成:分类、提取和扩充。有关每个阶段的更多详细信息,请参阅使用亚马逊云科技 AI 服务进行智能文档处理:第1部分和第2部分。在分类阶段,FMs 现在可以在没有任何额外训练的情况下对文档进行分类。这意味着即使模型之前没有见过类似的示例,也可以对文档进行分类。提取阶段的FMs可以标准化日期字段、验证地址和电话号码,同时确保一致的格式。丰富阶段的 FMs 允许推理、逻辑推理和总结。当您在每个 IDP 阶段使用 FMs 时,您的工作流程将更加流畅,性能也会得到改进。下图说明了具有生成式AI 的 IDP 流程。

9-1.How-to-get-started.png

IDP 流程的提取阶段

当 FMs 无法直接以原生格式(如 PDF、img、jpeg 和 tiff)作为输入来处理文档时,需要一种机制将文档转换为文本。为了从文档中提取文本然后将其发送到 FMs 进行进一步处理,您可以使用 Amazon Textract。使用 Amazon Textract,您可以提取行和单词,并将它们传递给下游的 FMs。以下架构使用 Amazon Textract 从任何类型的文档中准确提取文本,然后将其发送到FMs进行进一步处理。

9-2.textract-and-FM.png

通常,文档包含结构化和半结构化信息。Amazon Textract 可用于从表格和表单中提取原始文本和数据。表格和表单中的数据关系在自动化业务过程方面发挥着至关重要的作用。某些类型的信息可能无法由 FMs 直接处理。因此,我们可以选择将此信息存储在下游存储中或将其发送到 FMs。下图是一个例子,展示了 Amazon Textract 如何从文档中提取结构化和半结构化信息,以及需要由 FMs 处理的文本行。

9-3.ML-14527-input-putput-image.png

使用亚马逊云科技无服务器服务利用 FMs 进行总结

我们前面演示的 IDP 流程可以使用亚马逊云科技无服务器服务无缝自动化。大型企业中存在高度非结构化的文档。这些文档可能跨越从银行业的证券交易委员会(SEC)文件到医疗保险行业的保障文件等多个行业。随着亚马逊云科技上生成式 AI 的发展,这些行业的人们正在寻找以自动化和经济高效的方式从这些文档中获取摘要的方法。无服务器服务提供了一种快速构建 IDP 解决方案的机制。诸如 Amazon Lambda、Amazon Step Functions 和 Amazon EventBridge 等服务可以帮助构建与 FMs 集成的文档处理流程,如下图所示。

9-4.serverless-services.jpg

上述架构中使用的示例应用程序是事件驱动的。事件被定义为最近发生的状态变化。例如,当对象被上传到 Amazon Simple Storage Service (Amazon S3) 存储桶时,Amazon S3 会发出对象创建事件。来自 Amazon S3 的此事件通知可以触发 Lambda 函数或 Step Functions 工作流程。这种类型的架构称为事件驱动架构。在本文中,我们的示例应用程序使用事件驱动架构来处理示例病人出院小结,并总结文档的详细信息。工作流程如下:

  1. 当文档上传到 S3 存储桶时,Amazon S3 会触发对象创建事件。

  2. EventBridge 默认事件总线根据 EventBridge 规则将事件传播到 Step Functions。

  3. 状态机工作流程开始处理文档,从 Amazon Textract 开始。

  4. Lambda 函数转换经过分析的数据以用于下一步。

  5. 状态机调用托管 FM 的 SageMaker endpoint,通过直接的 Amazon SDK 集成。

  6. 摘要 S3 目标存储桶接收从 FM 收集的摘要响应。

我们使用示例应用程序及 flan-t5 Hugging face 模型来总结以下使用 Step Functions 工作流程的示例病人出院小结。

9-5.patient-discharge.png

Step Functions工作流程使用 Amazon SDK 集成调用 Amazon Textract AnalyzeDocument 和 SageMaker 运行时InvokeEndpoint API,如下图所示。

9-6.flow-of-functions.png

此工作流程生成存储在目标存储桶中的摘要 JSON 对象。JSON 对象如下所示:

{"summary": ["John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help."],"forms": [{"key": "Ph: ","value": "(888)-(999)-(0000) "},{"key": "Fax: ","value": "(888)-(999)-(1111) "},{"key": "Patient Name: ","value": "John Doe "},{"key": "Patient ID: ","value": "NARH-36640 "},{"key": "Gender: ","value": "Male "},{"key": "Attending Physician: ","value": "Mateo Jackson, PhD "},{"key": "Admit Date: ","value": "07-Sep-2020 "},{"key": "Discharge Date: ","value": "08-Sep-2020 "},{"key": "Discharge Disposition: ","value": "Home with Support Services "},{"key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ","value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. "},{"key": "Summary: ","value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet "}]}

使用 IDP 与无服务器实现在大规模上生成这些摘要,可以以高效的方式为组织提供有意义、简洁和可呈现的数据。 Step Functions 不限于一次处理一个文档的方式来处理文档。它的分布式映射功能可以按计划总结大量文档。

示例应用程序使用 flan-t5 Hugging face 模型;但是,您可以选择自己的 FM endpoint。模型的训练和运行超出了示例应用程序的范围。请遵循 GitHub 仓库中的说明来部署示例应用程序。上述架构提供了如何使用 Step Functions 编排 IDP 工作流的指导。有关使用亚马逊云科技 AI 服务和 FMs 构建应用程序的详细说明,请参阅 IDP 生成式AI Workshop。

设置解决方案

按照 README 中的步骤设置解决方案架构(SageMaker endpoint 除外)。在您拥有自己的 SageMaker endpoint 后,可以将 endpoint 名称作为参数传递给模板。

清理

为了节省费用,请删除教程中部署的资源:

  1. 按照 README 中的清理部分的步骤进行操作。

  2. 从 Amazon S3 控制台中删除 S3 存储桶中的任何内容,然后删除存储桶。

  3. 通过 SageMaker 控制台删除您可能创建的任何 SageMaker endpoint。

结论

生成式 AI 正在改变您可以如何使用 IDP 来洞察文档。Amazon Textract 等亚马逊云科技 AI 服务以及 Amazon FMs 可以帮助准确处理任何类型的文档。有关在亚马逊云科技上使用生成式AI的更多信息,请参阅发布在亚马逊云科技上构建生成式 AI 的新工具。

文章来源:https://dev.amazoncloud.cn/column/article/64e5fcaa5cf856038494f188?sc_medium=regulartraffic&sc_campaign=crossplatform&sc_channel=CSDN 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/99727.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MATLAB旋转动图的绘制

MATLAB旋转动图的绘制 文章目录 MATLAB旋转动图的绘制1、动图效果2、matlab代码 利用matlab实现三维旋转动图的绘制。 1、动图效果 2、matlab代码 close all clear clcf(x,y,z)(x.^2 (9./4).*y.^2 z.^2 - 1).^3 - x.^2.*z.^3 - (9./80).*y.^2.*z.^3; [x,y,z]meshgrid(linspac…

设置Linux CentOS7桥接模式连网

在虚拟机上安装centos7系统后,首要任务就是设置网络。 我们在文章《设置linux centos7连接网络》中讨论了如何设置NAT模式连网。本文讨论如何在设置好NAT模式后,调换为桥接模式。 仍采用图形化方式设置方法。 一、查看物理机网络 把虚拟机设置为桥接…

未来趋势观望:AI与Web3.0下的开发者天堂

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

windows10默认浏览器总是自动更改为Edge浏览器

在设置的默认应用设置中把默认浏览器改为chrome或其他之后他自动又会改回Edge。不得不说*软真的狗。 解决办法: 后来发现在Edge浏览器的设置中有这么一个选项,会很无耻的默认是Edge。把它关掉后重新设置就行了。

计算机网络的故事——HTTP首部

HTTP首部 在HTTP协议通信交互中使用的首部字段。不限于RFC2616中定义的47种首部字段,还有Cookie、setCookie和Content-Disposition等 HTTP 首部字段将定义成缓存代理和非缓存代理的行为,分成 2 种类型。端到端首部和逐跳首部

分类算法系列⑥:随机森林

目录 集成学习方法之随机森林 1、集成学习方法 2、随机森林 3、随机森林原理 为什么采用BootStrap抽样 为什么要有放回地抽样 4、API 5、代码 代码解释 结果 6、随机森林总结 🍃作者介绍:双非本科大三网络工程专业在读,阿里云专家…

华为云云服务器评测|云耀云服务器实例基础使用实践

🦖我是Sam9029,一个前端 Sam9029的CSDN博客主页:Sam9029的博客_CSDN博客-JS学习,CSS学习,Vue-2领域博主 **🐱‍🐉🐱‍🐉恭喜你,若此文你认为写的不错,不要吝啬你的赞扬,求…

TCP IP网络编程(四) 基于TCP的服务器端、客户端

文章目录 理解TCP、UDPTCP/IP协议栈链路层IP层TCP/UDP层应用层 实现基于TCP的服务器端、客户端TCP服务器端的默认函数调用顺序进入等待连接请求状态受理客户端连接请求TCP客户端的默认函数调用顺序基于TCP的服务器端、客户端函数调用关系 实现迭代服务器端、客户端实现迭代服务…

复旦-华盛顿大学EMBA:探索中国医疗健康行业数字化2.0

8月5日,复旦大学-华盛顿大学EMBA项目、复旦大学-BI(挪威)国际合作MBA项目联合IQVIA艾昆纬企业咨询(上海)有限公司举办了一场特别的联合校友活动,当天现场汇集了近80位医药健康行业的专家学者、精英校友和企业代表。      本次…

移动端App持续集成体系构建实战

这里写目录标题 一、目标1、前言2、优势:3、涉及技术点4、目标 二、测试app构建、打包过程1、安卓打包的环境要求 三、演示安卓源码打包四、演示安卓App部署1、前提条件2、命令控制apk安装与卸载 五、安卓UI自动化测试1、Appium app自动化测试-Python2、实现的验证点…

OpenCV(二十一):椒盐噪声和高斯噪声的产生

目录 1.图像噪声介绍 2.椒盐噪声的产生 3.高斯噪声的产生 1.图像噪声介绍 噪声介绍 图像噪声是指在图像中存在的不期望的、随机的像素值变化,这些变化来源于多种因素。噪声可能导致图像细节模糊、失真或难以分辨。 以下是几种常见的图像噪声类型: 1…

《vue3实战》运用push()方法实现电影评价系统的添加功能

目录 前言 电影评价系统的添加功能是什么? 电影评价系统的添加功能有什么作用? 一、push()方法是什么?它有什么作用? 含义: 作用: 二、功能实现 这段是添加开始时点击按钮使…