微软开发一系列工具助力AI生成式应用(微软生成功能工具中关村在线)

首先，微软限制了Copilot的人数，并减小其幻觉发作的可能性。
此外，微软还引入了“基础检测”功能来帮助用户识别文本中的幻觉。
该功能能自动检测文本中的“ungrounded material”，从而提高生成式语言模型（LLM）输出的质量和信任度。

为了检测和阻止提示注入攻击，微软将发布“Prompt Shields”。
这个工具可用于在间接提示攻击对模型产生影响之前对其进行识别，并且它也将作为Azure AI Content Safety服务中即将推出的新特性。

另外，在输出质量方面，微软还将推出“Groundedness detection”功能。
该功能主要检测模型输出中的“幻觉”，从而帮助用户识别基于文本的幻觉。

同时，微软还将提供一个名为“Safety system messages”的工具来引导模型朝着安全和负责任的方向发展。
此外，他们也将评估应用程序在越狱攻击和生成内容风险方面的脆弱性，并通过“Risk and safety monitoring”功能向用户提供信息以减轻这些风险。

总之，微软公司正在努力开发一系列工具来帮助开发者构建更加安全、可靠、可信的生成式AI应用。
这些新工具包括：Prompt Shields、Groundedness detection、Safety system messages和Safety evaluationsde等。
未来我们有望看到更多相关功能的推出和完善。

(8636764)