2月26日消息，据外媒报道，微软发布了一个名为PyRIT的开放访问自动化框架，用于主动识别生成式AI系统中的风险。
微软人工智能红色团队负责人Ram Shankar Siva Kumar表示，红色团队工具旨在“使全球每个组织都能利用最新的人工智能进步进行负责任的创新”。
该公司表示，PyRIT可用于评估大型语言模型(LLM)端点对不同伤害类别的稳健性，如捏造、滥用和禁止内容。并且还能用于识别从恶意软件生成到越狱的安全危害，以及身份盗窃等隐私危害。
PyRIT有五个接口：目标、数据集、评分引擎、支持多种攻击策略的能力，以及包含一个内存组件，该组件可以采用JSON或数据库的形式来存储中间输入和输出交互。
评分引擎还提供了两种不同的选项来对目标人工智能系统的输出进行评分，允许Red Team使用经典的机器学习分类器或利用LLM端点进行自我评估。
微软表示：“目标是让研究人员能够对他们的模型和整个推理管道在不同伤害类别下的表现有一个基线，并能够将该基线与他们模型的未来迭代进行比较。”
“这使他们能够获得关于他们的模型目前运行情况的经验数据，并根据未来的改进检测性能的任何下降。”换言之，该工具旨在通过生成提示来突出风险“热点”，这些提示可用于评估人工智能系统并标记需要进一步调查的领域。
微软进一步承认，Red Team生成式AI系统需要同时探测安全性和负责任的人工智能风险，这项工作更具概率性，同时也指出了生成式AI体系结构的巨大差异。
