在近日举行的 re:Invent 2024 大会上，亚马逊云科技(AWS)推出了一款新工具，旨在应对人工智能(AI)模型常见的“幻觉”问题。该工具被命名为“自动推理检查”(Automated Reasoning Checks)，其核心目标是通过交叉验证客户提供的信息来检查和确保 AI 模型输出的准确性，从而减少模型错误或不准确回答的发生。

　　AI 幻觉问题的挑战

　　AI 幻觉是指生成式 AI 模型在回答问题时，基于统计模式和先前数据的推断，给出不符合实际的回答。尽管 AI 系统经过大量训练，能处理大量数据并给出“看似正确”的回答，但其本质上并不“理解”任何事物。它们更多的是通过已知的模式进行预测，因此生成的回答往往会存在误差，特别是在面对未见过的数据或复杂的推理任务时。

　　针对这一问题，AWS 的新工具“自动推理检查”旨在增强模型的输出可靠性，帮助客户过滤掉那些看似合理但实际错误的回答。AWS 宣称这是目前“第一个”也是“唯一”专门为解决幻觉问题而设计的防护工具，然而这一说法或许并不完全准确。此前，微软和谷歌也推出了类似的功能，试图减少生成式 AI 中的事实错误。

　　“自动推理检查”如何工作？

　　“自动推理检查”工具通过 AWS 的 Bedrock 模型托管服务和其中的 Guardrails 工具进行提供。用户可以上传他们的数据信息，作为事实基础，用于构建规则库。这个规则库将有助于引导 AI 模型的推理过程，并为模型提供一个可靠的验证标准。简单来说，该工具试图理解模型是如何产生答案的，接着与事实基础进行对比，以验证答案的准确性。

　　当模型给出回答时，“自动推理检查”会利用这些规则和事实库来确认生成的答案是否符合实际。如果发现模型输出的内容可能存在错误，工具会自动显示可能正确的答案，并将错误的回答与正确答案一同呈现。这使得客户能够直观地了解模型输出的偏差程度，并做出相应调整。

　　已开始应用与市场反响

　　AWS 表示，全球知名的审计和咨询公司普华永道(PwC)已经开始在其 AI 助手项目中应用“自动推理检查”工具。AWS 的 AI 和数据副总裁 Swami Sivasubramanian 透露，这一功能的推出也正是为了吸引更多客户使用 AWS Bedrock 模型托管服务，进一步提升平台的可信度和吸引力。

　　然而，尽管这一工具的设计目标明确，业内仍有声音指出，彻底消除 AI 幻觉仍然是一项极具挑战的任务。科技媒体 Techcrunch 引用专家观点指出，试图从 AI 模型中去除幻觉，就像是试图从水中消除氢原子一样困难。AI 模型并非理解性思考的实体，它们只是通过识别模式并预测下一步数据来生成回答。由于其依赖于数据模式的预测，模型的回答并非事实，而是一种基于概率的“最有可能的答案”。

关键词：亚马逊

免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。