도구를 사용하는 AI 에이전트를 위한 프롬프트 인젝션 방어
프롬프트 인젝션은 모델 입력 조작에서 끝나지 않습니다. 에이전트가 도구를 실행할 수 있으면 조작된 지시가 데이터 접근, SaaS 변경, API 호출, 권한 오남용으로 이어질 수 있습니다.
프롬프트 인젝션이란?
프롬프트 인젝션은 사용자의 직접 입력, 외부 문서, 웹 페이지, 검색 결과, 도구 응답 등에 포함된 악의적 또는 예기치 않은 지시가 LLM의 시스템 의도나 정책을 우회하도록 만드는 공격 유형입니다.
이 페이지가 답하는 검색 의도
프롬프트 인젝션 위험을 현실적인 권한, 런타임 통제로 줄이는 방법
- 프롬프트 인젝션은 무엇인가?
- 직접/간접 프롬프트 인젝션은 어떻게 다른가?
- 프롬프트 인젝션이 AI 에이전트 도구 호출에 왜 위험한가?
- 권한 통제와 감사 로그로 프롬프트 인젝션 영향을 어떻게 줄이는가?
프롬프트 인젝션 위험
완전한 차단을 가정하기보다 권한 범위를 줄이고, 실행 전 검증하고, 행동을 추적하는 전략이 필요
| 위험 | 중요한 이유 | Rutile 대응 |
|---|---|---|
| Direct prompt injection | The user instructs the model to bypass rules or reveal hidden information. | Policy and permission checks outside the model. |
| Indirect prompt injection | Untrusted retrieved or tool-provided content carries hidden instructions. | Separate trust zones and execution-time verification. |
| Tool hijacking | Injected instructions cause email, file, database, or API misuse. | Tool-call enforcement and scoped access. |
| Audit ambiguity | Teams cannot tell which prompt, source, or tool result influenced the action. | Prompt hash, source context, tool, and policy evidence. |
Rutile 방어 모델
Rutile은 조작된 프롬프트가 실제 권한 있는 행동으로 이어지기 전에 정책과 JIT/JEA 권한으로 제한
| 통제 | 구현 패턴 | Rutile 기능 |
|---|---|---|
| Do not trust model output as authority | The model may suggest an action, but policy decides whether it can run. | Policy Proxy. |
| Use temporary permissions | Even successful injection should not inherit broad standing privileges. | JIT/JEA Broker. |
| Log decision context | Keep enough evidence to investigate whether context manipulation influenced an action. | Audit Logs. |
| Revoke during runtime | Stop sessions that drift from policy or risk threshold. | Runtime Kill Switch. |
주요 1차 출처
프롬프트 인젝션 내용은 OWASP LLM, Prompt Injection 자료, 에이전트 보안 가이드 기준으로 정리했습니다.
OWASP Prompt Injection
Explains prompt injection as a vulnerability class affecting LLMs, chatbots, and autonomous agents.
OWASP Top 10 for Large Language Model Applications
Defines critical LLM application risks including prompt injection, sensitive information disclosure, excessive agency, and vector or embedding weaknesses.
OWASP AI Agent Security Cheat Sheet
Provides practical guidance for securing autonomous and tool-using AI agents.
관련 AI 보안 토픽
프롬프트 인젝션 FAQ
프롬프트 인젝션을 완전히 막을 수 있나요?+
완전한 차단을 전제로 하는 것은 위험합니다. 실무적으로는 발생 가능성을 줄이고 권한을 제한하며 실행 전후 증거를 남기는 방식이 필요합니다.
AI 에이전트에서 왜 더 위험한가요?+
에이전트는 도구를 호출하고 실제 시스템을 변경할 수 있어 조작된 지시가 업무 영향으로 이어질 수 있습니다.