使用生成式 AI 增强亚马逊云科技智能文档处理-编程知识

数据分类、提取和分析对于处理大量文档的组织来说可能具有挑战性。传统的文档处理解决方案是手动的、昂贵的、容易出错的,并且难以扩展。利用 Amazon Textract 等 AI 服务,亚马逊云科技智能文档处理(IDP)允许您利用业界领先的机器学习(ML)技术来快速准确地处理任何扫描文档或图像中的数据。生成式人工智能(生成式AI)补充了 Amazon Textract, 以进一步自动化文档处理工作流程。诸如标准化关键字段和汇总输入数据等功能支持更快地管理文档流程工作流程,同时减少错误的可能性。

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术，观点，和项目，并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏，看到这里请一定不要匆匆划过，点这里让它成为你的技术宝库！

生成式 AI 由称为基础模型(FMs)的大型 ML 模型驱动。FMs 正在改变您可以解决传统上复杂文档处理工作负载的方式。除了现有的功能之外,企业需要汇总来自诸如财务报告和银行对账单等文档的特定类别的信息。FMs 使从提取的数据中生成此类见解变得更加容易。为了优化人工审核所花费的时间并提高员工的工作效率,可以以自动化的方式标记诸如电话号码中缺少数字,缺少文档或地址中缺少门牌号等错误。在当前场景中,您需要投入资源通过人工审核和复杂的脚本来完成这些任务。这种方法既乏味又昂贵。FMs 可以帮助以更快的速度、更少的资源完成这些任务,并将不同的输入格式转换为可以进一步处理的标准模板。在亚马逊云科技,我们提供诸如 Amazon Bedrock 等服务,这是使用FMs构建和扩展生成式 AI 应用程序的最简单方法。 Amazon Bedrock 是一个完全托管的服务,通过 API 提供来自领先的 AI 创业公司和 Amazon FMs,以便您可以找到最适合您要求的模型。我们还提供 Amazon SageMaker JumpStart,它允许 ML 从业人员从广泛的开源FMs中进行选择。 ML 从业人员可以将FMs部署到专用 Amazon SageMaker 实例中从一个网络隔离的环境中,并使用SageMaker 定制模型进行模型训练和部署。

Ricoh 提供旨在帮助客户管理和优化业务信息流的工作场所解决方案和数字化转型服务。产品组合解决方案开发副总裁 Ashok Shenoy 说:“我们正在将生成式 AI 添加到我们的 IDP 解决方案中,以帮助客户利用诸如问答、汇总和标准化输出等新功能更快、更准确地完成工作。亚马逊云科技允许我们在保持每个客户的数据分离和安全的同时利用生成式AI。”

在本文中,我们将分享如何使用生成式 AI 增强亚马逊云科技上的 IDP 解决方案。

改进 IDP 流程

在本节中,我们将回顾如何通过 FMs 增强传统的 IDP 流程,并通过 Amazon Textract 与 FMs 的示例用例进行演练。

Amazon IDP 由三个阶段组成:分类、提取和扩充。有关每个阶段的更多详细信息,请参阅使用亚马逊云科技 AI 服务进行智能文档处理:第1部分和第2部分。在分类阶段,FMs 现在可以在没有任何额外训练的情况下对文档进行分类。这意味着即使模型之前没有见过类似的示例,也可以对文档进行分类。提取阶段的FMs可以标准化日期字段、验证地址和电话号码,同时确保一致的格式。丰富阶段的 FMs 允许推理、逻辑推理和总结。当您在每个 IDP 阶段使用 FMs 时,您的工作流程将更加流畅,性能也会得到改进。下图说明了具有生成式AI 的 IDP 流程。

9-1.How-to-get-started.png

IDP 流程的提取阶段

当 FMs 无法直接以原生格式(如 PDF、img、jpeg 和 tiff)作为输入来处理文档时,需要一种机制将文档转换为文本。为了从文档中提取文本然后将其发送到 FMs 进行进一步处理,您可以使用 Amazon Textract。使用 Amazon Textract,您可以提取行和单词,并将它们传递给下游的 FMs。以下架构使用 Amazon Textract 从任何类型的文档中准确提取文本,然后将其发送到FMs进行进一步处理。

9-2.textract-and-FM.png

通常,文档包含结构化和半结构化信息。Amazon Textract 可用于从表格和表单中提取原始文本和数据。表格和表单中的数据关系在自动化业务过程方面发挥着至关重要的作用。某些类型的信息可能无法由 FMs 直接处理。因此,我们可以选择将此信息存储在下游存储中或将其发送到 FMs。下图是一个例子,展示了 Amazon Textract 如何从文档中提取结构化和半结构化信息,以及需要由 FMs 处理的文本行。

9-3.ML-14527-input-putput-image.png

使用亚马逊云科技无服务器服务利用 FMs 进行总结

我们前面演示的 IDP 流程可以使用亚马逊云科技无服务器服务无缝自动化。大型企业中存在高度非结构化的文档。这些文档可能跨越从银行业的证券交易委员会(SEC)文件到医疗保险行业的保障文件等多个行业。随着亚马逊云科技上生成式 AI 的发展,这些行业的人们正在寻找以自动化和经济高效的方式从这些文档中获取摘要的方法。无服务器服务提供了一种快速构建 IDP 解决方案的机制。诸如 Amazon Lambda、Amazon Step Functions 和 Amazon EventBridge 等服务可以帮助构建与 FMs 集成的文档处理流程,如下图所示。

9-4.serverless-services.jpg

上述架构中使用的示例应用程序是事件驱动的。事件被定义为最近发生的状态变化。例如,当对象被上传到 Amazon Simple Storage Service (Amazon S3) 存储桶时,Amazon S3 会发出对象创建事件。来自 Amazon S3 的此事件通知可以触发 Lambda 函数或 Step Functions 工作流程。这种类型的架构称为事件驱动架构。在本文中,我们的示例应用程序使用事件驱动架构来处理示例病人出院小结,并总结文档的详细信息。工作流程如下:

当文档上传到 S3 存储桶时,Amazon S3 会触发对象创建事件。
EventBridge 默认事件总线根据 EventBridge 规则将事件传播到 Step Functions。
状态机工作流程开始处理文档,从 Amazon Textract 开始。
Lambda 函数转换经过分析的数据以用于下一步。
状态机调用托管 FM 的 SageMaker endpoint,通过直接的 Amazon SDK 集成。
摘要 S3 目标存储桶接收从 FM 收集的摘要响应。

我们使用示例应用程序及 flan-t5 Hugging face 模型来总结以下使用 Step Functions 工作流程的示例病人出院小结。

9-5.patient-discharge.png

Step Functions工作流程使用 Amazon SDK 集成调用 Amazon Textract AnalyzeDocument 和 SageMaker 运行时InvokeEndpoint API,如下图所示。

9-6.flow-of-functions.png

此工作流程生成存储在目标存储桶中的摘要 JSON 对象。JSON 对象如下所示:

{"summary": ["John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help."],"forms": [{"key": "Ph: ","value": "(888)-(999)-(0000) "},{"key": "Fax: ","value": "(888)-(999)-(1111) "},{"key": "Patient Name: ","value": "John Doe "},{"key": "Patient ID: ","value": "NARH-36640 "},{"key": "Gender: ","value": "Male "},{"key": "Attending Physician: ","value": "Mateo Jackson, PhD "},{"key": "Admit Date: ","value": "07-Sep-2020 "},{"key": "Discharge Date: ","value": "08-Sep-2020 "},{"key": "Discharge Disposition: ","value": "Home with Support Services "},{"key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ","value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. "},{"key": "Summary: ","value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet "}]}

使用 IDP 与无服务器实现在大规模上生成这些摘要,可以以高效的方式为组织提供有意义、简洁和可呈现的数据。 Step Functions 不限于一次处理一个文档的方式来处理文档。它的分布式映射功能可以按计划总结大量文档。

示例应用程序使用 flan-t5 Hugging face 模型;但是,您可以选择自己的 FM endpoint。模型的训练和运行超出了示例应用程序的范围。请遵循 GitHub 仓库中的说明来部署示例应用程序。上述架构提供了如何使用 Step Functions 编排 IDP 工作流的指导。有关使用亚马逊云科技 AI 服务和 FMs 构建应用程序的详细说明,请参阅 IDP 生成式AI Workshop。