OWASP 大语言模型应用程序十大风险

2023-06-10 16:35

《OWASP 大语言模型应用程序十大风险》项目旨在向开发人员、设计人员、架构师、管理人员和组织介绍部署和管理大语言模型 (LLM)应用程序时的潜在安全风险。该项目主要基于漏洞的潜在影响,可利用性以及在实际应用程序中的普遍性,整理出包括提示注入、数据泄漏、沙盒不足和未经授权的代码执行等LLM应用程序中常见的10大最关键风险的列表。

本项目旨在提高对这些风险以及相关漏洞的认识,提供修正策略的建议,并最终改善LLM应用程序的安全状况。

十大风险列表

1、LLM01:2023,提示词注入(Prompt Injections)

绕过过滤器或使用精心制作的提示操作LLM,使模型忽略先前的指令或执行非计划的操作。

2、LLM02:2023,数据泄漏(Data Leakage)

通过LLM的回复意外泄露敏感信息、专有算法或其他机密细节。

3、LLM03:2023,不完善的沙盒隔离(Inadequate Sandboxing)

当LLM可以访问外部资源或敏感系统时,未能正确隔离LLM,从而允许潜在的利用和未经授权的访问。

4、LLM04:2023,非授权代码执行(Unauthorized Code Execution)

利用LLM通过自然语言提示在底层系统上执行恶意代码、命令或操作。

5、LLM05:2023,SSRF漏洞(SSRF Vulnerabilities)

利用LLM执行意外请求或访问受限制的资源,如内部服务、API或数据存储。

6、LLM06:2023,过度依赖大语言模型生成的内容(Overreliance on LLM-generated Content)

在没有人为监督的情况下过度依赖法LLM生成的内容可能会导致不良后果。

7、LLM07:2023,人工智能未充分对齐(Inadequate AI Alignment)

未能确保LLM的目标和行为与预期用例保持一致,从而导致不良后果或漏洞。

8、LLM08:2023,访问控制不足(ontrols Insufficient Access)

未正确实现访问控制或身份验证,将允许未经授权的用户与LLM交互,并可能导致漏洞被利用。

9、LLM09:2023,错误处置不当(Improper Error Handling)

暴露错误消息或调试信息,将导致敏感信息、系统详细信息或潜在攻击向量的泄露。

10、LLM10:2023,训练数据投毒(Training Data Poisoning)

恶意操纵训练数据或微调程序,将漏洞或后门引入LLM。