IT 领导者在将 AI代理(AI智能体)与遗留基础设施集成时有哪些顾虑?

新闻

作者：微信文章
IT领导者在集成代理AI时的主要顾虑是复杂性和安全性，而实现有效集成的前提是基础设施现代化。


图片来源：imtmphoto / Shutterstock【睿观：IT领导者在考虑集成AI代理（AI智能体）时，必须优先考虑基础设施的现代化，解决数据集成挑战，并建立强大的安全和合规措施。从小规模、明确的用例开始，逐步扩展，是降低风险和实现成功的有效策略。主要观点：

基础设施现代化：

遗留系统与AI代理（AI智能体）的非确定性存在冲突。需要现代化的API和微服务以支持AI代理的交互。数据集成需要高质量的现代化平台。

数据集成挑战：

AI代理（AI智能体）需要访问多个数据源，增加了集成复杂性。需要解决自然语言与系统API之间的转换问题。动态插件和连接的管理对AI代理（AI智能体）的适应性至关重要。

安全与合规：

需要防范AI代理（AI智能体）的“越狱”和自主决策风险。用户权限和AI代理（AI智能体）行为需要严格控制和监控。合规性要求在数据敏感行业尤为重要，如数据主权和隐私。需要建立可观测层，监控AI代理（AI智能体）的行为，并及时响应发生的异常情况。】

AI代理（AI智能体）是去年生成式 AI 的重大突破性技术，今年，企业将大规模部署这些系统。根据毕马威 1 月份对大型企业 100 位高级管理人员的调查，12% 的公司已经在部署 AI 代理（AI智能体），37% 的公司处于试点阶段，51% 的公司正在探索其用途。在 Gartner 10 月份的一份报告中，到 2033 年，33% 的企业软件应用程序将包含代理 AI，高于 2024 年的不到 1%，这使得 15% 的日常工作决策能够自主进行。特别是关注 AI 开发人员，每个人都跃跃欲试。“实际上，我们几乎从一开始就使用代理开始了我们的 AI 之旅，”Dun & Bradstreet 的首席数据和分析官 Gary Kotovets 说。AI 代理（AI智能体）由生成式 AI 模型提供支持，但与聊天机器人不同，它们可以处理更复杂的任务，自主工作，并且可以与其他 AI 代理组合成能够处理整个工作流程的代理系统，从而取代员工或实现高级业务目标。所有这些都带来了新的挑战，除了生成式 AI 本身带来的挑战之外。此外，与传统的自动化不同，代理系统是非确定性的。这使得它们与遗留平台格格不入，而遗留平台普遍是非常确定性的。因此，70% 的开发人员表示他们在将 AI 代理与其现有系统集成时遇到问题也就不足为奇了。这是根据 AI 平台公司 Langbase 在 12 月份对 3400 名构建 AI 代理的开发人员进行的调查得出的。问题在于，在将 AI 代理（AI智能体）集成到公司基础设施之前，必须将该基础设施提升到现代标准。此外，由于它们需要访问多个数据源，因此存在数据集成障碍以及确保安全性和合规性的额外复杂性。“拥有干净和高质量的数据是这项工作中最重要的部分，”Kotovets 说。“你要确保你不会遇到‘垃圾进，垃圾出’的情况。”一、基础设施现代化12 月，Tray.ai 对 1000 多名企业技术专业人员进行了一项调查，发现 90% 的企业表示与组织数据的集成对成功至关重要，但 86% 的企业表示他们需要升级现有的技术栈来部署 AI 代理。Intuit 的首席数据官 Ashok Srivastava 同意这种观点。“你的平台需要开放，以便 LLM 能够以简单的方式进行推理并与平台交互，”他说。“如果你想开采石油，你必须钻穿花岗岩才能到达它。如果你所有的技术都被埋藏起来，并且没有通过正确的 API 集和灵活的微服务集公开，那么就很难提供AI代理（AI智能体）体验。”Intuit 本身目前处理 95 PB 的数据，每天生成 600 亿个机器学习预测，跟踪每个消费者 60,000 个税务和财务属性（每个企业客户 580,000 个），每月处理 1200 万次 AI 辅助交互，这些交互可供 3000 万消费者和 100 万家中小企业使用。通过使其自身平台现代化，Intuit 不仅能够大规模交付代理 AI，还能改进其运营的其他方面。“在过去四年中，我们的开发速度提高了八倍，”Srivastava 说。“但这并不全是生成式 AI 的功劳。很大程度上归功于我们构建的平台。”
但并非所有企业都能像 Intuit 那样在技术上进行投资。“我们大多数人都认识到，企业中的绝大多数记录系统仍然基于遗留系统，通常是在本地，并且仍然为大部分业务提供支持，”安永的负责人 Rakesh Malhotra 说。正是那些交易和运营系统、订单处理系统、ERP 系统和 HR 系统创造了商业价值。“如果代理的承诺是以自主的方式完成任务，那么你需要访问这些系统，”他说。但当遗留系统以批处理模式运行时，这无济于事。他说，对于 AI 代理（AI智能体），用户通常希望事情能够快速发生，而不是在批处理系统运行 24 小时之后。有一些方法可以解决这个问题，但这是公司需要仔细考虑的事情。“已经更新了参与系统以与其遗留参与系统交互的组织具有先发优势，”Malhotra 补充道。但是，拥有具有标准 API 访问权限的现代平台只是成功的一半。公司仍然必须让 AI 代理实际与其现有系统对话。数据集成挑战全球数据服务公司 Indicium 是一家拥有现代平台的数字原生代企业。“我们没有很多遗留系统，”该公司首席数据官 Daniel Avancini 说。Indicium 在 2024 年年中开始构建多代理系统，用于内部知识检索和其他用例。知识管理系统是最新的，并支持 API 调用，但生成式 AI 模型使用纯英语进行通信。由于各个 AI 代理由生成式 AI 提供支持，因此它们也说纯英语，这在尝试将它们连接到企业系统时会造成麻烦。“你可以让 AI 代理返回 XML 或 API 调用，”Avancini 说。但是，当一个主要目的是理解公司文档的代理尝试说 XML 时，它可能会出错。Avancini 建议，最好使用专家。“通常情况下，你需要另一个代理，其唯一的工作是将英语翻译成 API，”他补充道。“然后你必须确保 API 调用是正确的。”处理连接问题的另一种方法是在代理周围放置传统的软件包装器，类似于公司目前使用 RAG 嵌入将生成式 AI 工具连接到其工作流程的方式，而不是让用户直接未经中介地访问 AI。这就是思科正在做的事情。“我们对代理的看法是，存在某种基础模型，但它周围仍然是一个传统的应用程序，”该公司高级副总裁兼总经理 Vijoy Pandey 说，他也是思科孵化引擎 Outshift 的负责人。这意味着存在与数据库、API 和云栈交互的传统代码来处理通信问题。除了翻译问题之外，将数据导入代理系统的另一个挑战是它们需要访问的数据源的数量。根据 Tray.ai 的调查，42% 的企业需要访问 8 个或更多数据源才能成功部署 AI 代理，79% 的企业预计数据挑战会影响 AI 代理的推出。此外，38% 的企业表示集成复杂性是扩展 AI 代理的最大障碍。例如，在思科，整个内部运营管道都是由代理驱动的，Pandey 说。“这有一个相当广泛的可操作区域，”他说。更糟糕的是，使用 AI 驱动的代理而不是传统软件的原因是代理可以学习、适应并为新问题提出新的解决方案。“你无法预先确定你需要为该代理建立什么样的连接，”Pandey 说。“你需要一套动态的插件。”但是，赋予代理过多的自主权可能会造成灾难性的后果，因此需要根据最初启动代理的实际人员来仔细控制这些连接。“我们构建的东西就像一个动态加载的库，”他说。“例如，如果一个代理需要在 AWS 实例上执行操作，你实际上会引入所需的数据源和 API 文档，所有这些都基于在运行时请求该操作的人员的身份。”二、加强安全性和合规性那么，如果一个人命令代理（AI智能体）系统做他或她无权做的事情会发生什么？生成式 AI 模型容易受到巧妙提示的影响，这些提示会让它们超出允许操作的界限，这被称为“越狱”。或者，如果 AI 本身决定需要做一些它不应该做的事情怎么办？如果模型的初始训练、微调、提示或其信息源之间存在矛盾，就可能发生这种情况。在 Anthropic 与 Redwood Research 合作于 12 月中旬发布的一篇研究论文中，试图满足矛盾目标的领先模型试图逃避护栏，谎报其能力，并进行其他类型的欺骗。思科的 Pandey 说，随着时间的推移，AI 代理将需要更多的自主权才能完成他们的工作。“但有两个问题，”他说。“AI 代理（AI智能体）本身可能正在做一些事情。然后是用户或客户。那里可能发生了一些奇怪的事情。”Pandey 说，他从爆炸半径的角度来考虑这个问题，如果出现问题，无论是 AI 方面的问题还是用户方面的问题，爆炸半径有多大？当潜在的爆炸半径更具破坏性时，必须相应地调整护栏和安全机制。“随着代理（AI智能体）获得更多自主权，你需要为这些级别的自主权设置护栏和框架，”他补充道。在 D&B，AI 代理的权限也受到严格限制，Kotovets 说。例如，一个主要的用例是让客户更好地访问公司拥有的关于 5 亿家企业的记录。这些代理不允许添加记录、删除记录或进行其他更改。“现在赋予它们这种自主权还为时过早，”Kotovets 说。事实上，这些代理甚至不允许编写自己的 SQL 请求，他说。“信息是被推送给它们的。”与数据平台的实际交互是通过现有的安全机制处理的。代理（AI智能体）用于在这些机制之上创建一个智能用户界面。但是，随着技术的改进和客户希望获得更多功能，这种情况可能会发生变化。“今年的想法是与我们的客户一起发展，”他说。“如果他们想更快地做出某些决策，我们将根据他们的风险承受能力构建代理。”D&B 并不是唯一一家担心 AI 代理风险的公司。Insight Partners 发现，除了隐私和安全是 2025 年企业 AI 战略的首要关注点之外，在数据质量之后，合规性在部署 AI 代理方面带来了额外的障碍，尤其是在数据敏感行业，例如，公司可能必须遵守数据主权法、数据治理规则和医疗保健法规。例如，当 Indicium 的 AI 代理尝试访问数据时，公司会将请求追溯到其来源，即提出启动整个流程的问题的人。“我们必须对这个人进行身份验证，以确保他们拥有正确的权限，”Avancini 说。“并非所有公司都了解其中的复杂性。”他补充说，特别是对于遗留系统，这种细粒度的访问控制可能很困难。一旦建立了身份验证，就必须在处理问题的各个代理的整个链中保留它。“这绝对是一个挑战，”Avancini 说。“你需要一个非常好的代理建模系统和大量的护栏。关于 AI 治理有很多问题，但没有很多答案。”由于代理说英语，人们会尝试无数的技巧来欺骗 AI。“在实施任何东西之前，我们都会进行大量的测试，然后我们会对其进行监控，”他补充道。“任何不正确或不应该存在的东西，我们都需要进行调查。”在 IT 顾问公司 CDW，AI 代理（AI智能体）已经应用的一个领域是帮助员工响应提案请求。该代理受到严格的锁定，其 AI 首席架构师 Nathan Cartwright 说。“如果其他人向它发送消息，它会反弹回来，”他说。还有一个系统提示指定了代理的目的，他说，所以任何超出该目的的内容都会被拒绝。此外，护栏可以防止代理泄露个人信息或限制它可以处理的请求数量。然后，为了确保护栏正常工作，会监控每次交互。“有一个可观察层来查看发生了什么是很重要的，”他说。“我们的完全是自动化的。如果达到速率限制或内容过滤器，会发送一封电子邮件，说检查这个代理。”CDW 的首席架构师 Roger Haney 说，从小型的、离散的用例开始有助于降低风险。“当你专注于你想要做的事情时，你的领域是相当有限的，”他说。“这就是我们看到成功的地方。我们可以让它具有性能；我们可以让它更小。但首要的是获得适当的护栏。这是最大的价值，而不是将代理连接在一起。这完全取决于预先制定的业务规则、逻辑和合规性。”