NVIDIA 发布 NIM 微服务为智能体 AI 应用保驾护航

NVIDIA NeMo Guardrails 包含全新的 NVIDIA NIM 微服务，旨在为各行业构建人工智能的企业提高准确性、安全性和可控性。

人工智能智能体有望凭借能够完成各种任务的 “知识机器人” 改变全球数十亿知识工作者的生产力。为开发人工智能智能体，企业需要解决信任、安全、安保和合规等关键问题。

作为 NVIDIA NeMo Guardrails 软件工具集一部分的全新人工智能护栏 NVIDIA NIM 微服务，是可移植、经过优化的推理微服务，能够助力企业提升其生成式人工智能应用的安全性、精确性和可扩展性。

微服务编排的核心是 NeMo Guardrails，它是 NVIDIA NeMo 人工智能管理、定制和防护平台的一部分。NeMo Guardrails 帮助开发者在大语言模型（LLM）应用中集成和管理人工智能护栏。行业领导者 Amdocs、Cerence AI 和劳氏（Lowe’s）等公司都在使用 NeMo Guardrails 保护人工智能应用。

开发者可利用 NIM 微服务构建更安全、可信的人工智能智能体，使其在特定语境指南内提供安全、恰当的回应，并增强抵御越狱企图的能力。这些智能体应用于汽车、金融、医疗、制造业和零售等行业的客户服务中，能够提升客户满意度和信任度。

其中一项新的微服务是为内容安全审核而构建的，它使用了 Aegis 内容安全数据集进行训练，这是该类别中质量最高、人工标注的数据源之一。该数据集由 NVIDIA 策划和拥有，在 Hugging Face 上公开可用，包含超过 35,000 个人工标注的数据样本，这些样本标记了人工智能安全和试图绕过系统限制的越狱行为。

人工智能正在迅速提升广泛业务流程的生产力。在客户服务方面，它有助于将客户问题解决速度提高多达 40%。然而，为客户服务和其他人工智能智能体扩展人工智能需要安全的模型，以防止有害或不适当的输出，并确保人工智能应用在定义的参数范围内运行。

NVIDIA 为 NeMo Guardrails 推出了三项新的 NIM 微服务，帮助人工智能智能体在大规模运行时保持可控行为：

通过应用多个轻量级、专门的模型作为护栏，开发者可以弥补仅存在更通用的全局策略和保护时可能出现的漏洞 —— 因为一刀切的方法无法妥善保护和控制复杂的智能体人工智能工作流程。

像 NeMo Guardrails 集合中的小型语言模型，具有更低的延迟，并且即使在资源受限或分布式环境中也能高效运行。这使其成为在医疗、汽车和制造业等行业，以及医院或仓库等场所扩展人工智能应用的理想选择。

NeMo Guardrails 向开源社区开放，帮助开发者编排多个人工智能软件策略（称为 “rails”），以增强大语言模型应用的安全性和可控性。它与 NVIDIA NIM 微服务协同工作，为构建可大规模部署且不牺牲安全性或性能的人工智能系统提供了一个强大的框架。

Amdocs 是一家为通信和媒体公司提供软件和服务的全球领先供应商，它正在利用 NeMo Guardrails 通过提供更安全、更准确和符合语境的回应来增强人工智能驱动的客户交互。

Amdocs 技术集团总裁兼战略主管 Anthony Goonetilleke 表示：“像 NeMo Guardrails 这样的技术对于保护生成式人工智能应用至关重要，有助于确保它们安全且符合道德地运行。通过将 NVIDIA NeMo Guardrails 集成到我们的 amAIz 平台中，我们正在增强该平台的‘可信人工智能’能力，以提供安全、可靠和可扩展的智能体体验。这使服务提供商能够安全且自信地部署人工智能解决方案，为人工智能创新和卓越运营设定新的标准。”

Cerence AI 是一家专注于汽车行业人工智能解决方案的公司，它正在使用 NVIDIA NeMo Guardrails 来确保其车载助手通过其 CaLLM 大小语言模型系列提供符合语境、安全的交互。

Cerence AI 产品与技术执行副总裁 Nils Schanz 表示：“Cerence AI 依靠 NVIDIA 的高性能、安全解决方案为我们的车载助手技术提供动力。使用 NeMo Guardrails 有助于我们向汽车制造商客户提供可信、具有语境感知的解决方案，并提供合理、谨慎且无幻觉的回应。此外，NeMo Guardrails 可为我们的汽车制造商客户定制，帮助我们过滤有害或不愉快的请求，保护我们的 CaLLM 语言模型系列免受向终端用户提供意外或不适当内容的影响。”

劳氏（Lowe’s）是一家领先的家居装修零售商，它正在利用生成式人工智能来拓展其店内员工的深厚专业知识。通过提供对全面产品知识的增强访问，这些工具使员工能够回答客户问题，帮助他们找到合适的产品来完成项目，并为零售创新和客户满意度设定新的标准。

劳氏数据、人工智能与创新高级副总裁 Chandhu Nair 表示：“我们一直在寻找方法帮助员工为客户提供超乎寻常的服务。通过我们最近部署的 NVIDIA NeMo Guardrails，我们确保人工智能生成的回应是安全、可靠的，并强制执行对话边界以仅提供相关且适当的内容。”

为了进一步加速人工智能防护在零售领域人工智能应用开发和部署中的采用，NVIDIA 最近在 NRF 展会上宣布，其用于零售购物助手的 NVIDIA AI 蓝图集成了 NeMo Guardrails 微服务，以在数字购物体验中创建更可靠和可控的客户交互。

咨询行业领导者 Taskus、Tech Mahindra 和 Wipro 也在将 NeMo Guardrails 集成到他们的解决方案中，为其企业客户提供更安全、更可靠和可控的生成式人工智能应用。

NeMo Guardrails 是开放且可扩展的，提供与领先的人工智能安全模型和护栏提供商的强大生态系统的集成，以及人工智能可观测性和开发工具。它支持与 ActiveFence 的 ActiveScore 集成，后者可过滤对话式人工智能应用中的有害或不适当内容，并提供可见性、分析和监控。

Hive 提供用于图像、视频和音频内容的人工智能生成内容检测模型作为 NIM 微服务，可使用 NeMo Guardrails 在人工智能应用中轻松集成和编排。

Fiddler AI 可观测性平台可轻松与 NeMo Guardrails 集成，以增强人工智能护栏监控能力。而 Weights & Biases 这一端到端人工智能开发者平台，正在通过添加与 NeMo Guardrails 微服务的集成来扩展 W&B Weave 的功能。这一增强功能建立在 Weights & Biases 现有的用于生产中优化人工智能推理的 NIM 集成组合之上。

准备测试应用防护模型和其他 “rails” 有效性的开发者可以使用 NVIDIA Garak，这是一个由 NVIDIA 研究团队开发的用于大语言模型和应用漏洞扫描的开源工具包。

借助 Garak，开发者可以通过评估诸如数据泄露、提示注入、代码幻觉和越狱场景等问题来识别使用大语言模型的系统中的漏洞。通过生成涉及不适当或错误输出的测试案例，Garak 帮助开发者检测和解决人工智能模型中的潜在弱点，以增强其稳健性和安全性。

NVIDIA NeMo Guardrails 微服务、用于 “rail” 编排的 NeMo Guardrails 以及 NVIDIA Garak 工具包现已面向开发者和企业开放。开发者可以使用本教程开始将人工智能防护构建到客户服务的人工智能智能体中。

 

原文链接：https://blogs.nvidia.com/blog/nemo-guardrails-nim-microservices/