要使AI代理能够"思考"并自主行动，必须赋予其自主权（agency），即允许其与其他系统集成、读取分析数据并执行命令。但随着这些系统获得对信息系统的深度访问权限，人们越来越担忧其权限过度扩张——当这些工具被赋予过多权力、访问权限和信息时，将产生严重安全隐患。
举例而言，假设某大语言模型（LLM）获准访问存储敏感客户数据（姓名、联系信息、购买记录等）的CRM数据库。如果它不仅允许用户访问自己的客户记录，还能查看和删除其他用户的条目，这就是典型的权限泛滥。这种现象特指LLM执行未授权命令、意外泄露信息或与其他系统进行超出其定义范围交互的情况。
当LLM代理获得超出其原始设计范围的功能、API或插件访问权时就会发生。例如，集成到智能家居系统中的LLM不仅能控制灯光开关，还能禁用警报系统、关闭安防摄像头以及操控门锁。
LLM代理获得超出必要范围的权限。例如，某邮件助手除读写删除邮件外，还能访问即时消息和用户网盘中的敏感文件（电子表格、公司记录）。
LLM代理为达成目标突破操作和伦理边界，产生不可预测行为。例如，管理社交媒体的LLM误解用户问题，导致敏感信息泄露或发布不当回应，造成数据泄漏或声誉损害。
当LLM代理被赋予过度权限时，将危及安全核心原则：
机密性破坏：LLM从数据库检索机密信息并泄露给未授权用户完整性损害：因模糊、被操纵或对抗性输入，具有过度自主权的LLM执行未授权操作可用性威胁：权限泛滥的LLM被攻击者利用，导致网络瘫痪、服务器过载，引发严重服务中断
威胁行为者通过多种技术滥用LLM的过度权限：
通过以下安全措施可降低权限泛滥风险：
自主性LLM的权限泛滥给企业带来重大风险。各组织必须调整安全策略，以应对这类新一代AI系统带来的多重威胁。
参考来源：入口
文章来源：
FreeBuf
版权声明：除非特别标注，否则均为本站原创文章，转载时请以链接形式注明文章出处。
还木有评论哦，快来抢沙发吧~