직원처럼 AI 에이전트를 보호하기
에이전트가 업무 인프라가 되고 있습니다
프롬프트 인젝션만으로 이야기가 끝나지는 않습니다. AI 에이전트가 도구, 메모리, 자율성을 갖추면 보안은 모델만이 아니라 시스템 전체를 규율해야 합니다.
핵심 정리
- Agents with tools and memory need access control like employees do.
- Prompt injection is only part of the risk—permissions and data flow matter.
- Keep secrets out of agent prompts; deliver them through controlled channels.
- Log actions and scope credentials tightly for autonomous workflows.
AI 산업은 지난 몇 년간 프롬프트 인젝션(prompt injection)에 집착해 왔습니다. 악의적인 프롬프트가 챗봇을 속여 의도하지 않은 응답을 생성할 수 있다는 우려 때문입니다.
하지만 프롬프트 인젝션이 이제 문제의 전부는 아닙니다.
오늘날의 AI 시스템은 수동적인 어시스턴트에서 자율 에이전트(autonomous agents)로 빠르게 진화하고 있습니다. 이제 단순히 질문에 답하는 것에 그치지 않습니다. 파일을 액세스하고, 이메일을 분석하며, API를 호출하고, 다단계 워크플로우를 실행하며, 사용자를 대신해 운영 결정을 내립니다.
그리고 AI 시스템이 행동할 수 있는 능력을 갖추는 순간, 보안 플레이북은 완전히 바뀝니다.
최근 USENIX Security 2026 논문인 Kim 등이 작성한 SoK: Attack and Defense Landscape of Agentic AI Systems는 현재까지 에이전트 보안에 대한 가장 포괄적인 분석 중 하나를 제공합니다. 연구진은 128개의 학술 논문을 검토하여 51개의 공격 기술과 60개의 방어 전략을 식별했으며, 자율 AI 시스템의 새로운 보안 과제를 이해하기 위한 프레임워크를 제안했습니다.
그들의 핵심 결론은 명확합니다:
AI 기반 제품을 구축, 배포 또는 사용하는 조직에게 이는 경종을 울리는 신호가 되어야 합니다.
AI 에이전트가 더 많은 자율성을 얻을수록 공격 표면(attack surface)은 더 커집니다.
에이전트 보안이 다른 이유
전통적인 소프트웨어는 미리 정의된 로직을 따릅니다. 전통적인 LLM 애플리케이션은 주로 텍스트를 생성합니다. 에이전트 시스템은 다르게 작동합니다.
에이전트 시스템은 언어 모델을 외부 도구, 메모리 시스템, 데이터베이스, API 및 자율적 의사 결정 능력과 결합합니다. 엔터프라이즈 에이전트는 수신된 이메일을 읽고, 내부 문서에서 정보를 검색하고, CRM을 조회하고, 데이터베이스를 업데이트하고, 응답을 보내는 모든 과정을 단일 워크플로우 내에서 수행할 수 있습니다.
That flexibility is what makes agents so powerful. It's also what makes them difficult to secure.
USENIX 논문은 모델의 안전성에만 집중하는 것은 불충분하다고 주장합니다. 보안은 모델, 메모리, 도구, 데이터 소스 및 수행 가능한 작업 등 에이전트 생태계 전체에 걸쳐 평가되어야 합니다.
에이전트 리스크의 7가지 차원
연구진은 에이전트의 보안 태세에 영향을 미치는 7가지 핵심 차원을 식별했습니다:
- 입력 신뢰도 — 정보의 출처는 어디인가?
- 데이터 접근 민감도 — 에이전트가 어떤 정보에 접근할 수 있는가?
- 워크플로우 자율성 — 다음 행동을 독립적으로 결정할 수 있는가?
- 실행 능력 — 데이터를 수정, 삭제 또는 전송할 수 있는가?
- 메모리 지속성 — 세션 간에 정보가 유지되는가?
- 도구 가용성 — 어떤 외부 시스템을 호출할 수 있는가?
- 사용자 인터페이스 영향력 — 사용자의 결정에 어느 정도의 영향을 미치는가?
고객 지원 챗봇과 자율형 비서의 차이를 생각해 보십시오.
기능이 추가될수록 유용성은 높아집니다. 하지만 이는 공격 표면을 확장하며 오용, 조작 또는 의도하지 않은 동작이 발생할 새로운 기회를 만듭니다.
보안은 모델을 보호하는 것을 넘어 복잡한 시스템을 관리하는 것에 가까워집니다.
컨텍스트가 새로운 보안 경계입니다
수십 년 동안 사이버 보안은 기밀성, 무결성, 가용성이라는 세 가지 원칙에 집중해 왔습니다. 이 원칙들은 여전히 필수적입니다.
하지만 에이전트형 AI는 새로운 과제인 컨텍스트 보안을 도입합니다.
에이전트가 강력한 인증, 암호화된 통신 및 엄격한 접근 제어를 갖추고 있더라도, 악의적이거나 조작된 정보에 따라 행동함으로써 치명적인 실패를 겪을 수 있습니다.
외부 당사자가 업로드한 겉보기에 무해한 PDF를 처리하는 에이전트를 상상해 보십시오. 문서 내부에 숨겨진 지침이 에이전트에게 이전 가이드를 무시하고, 민감한 정보를 검색하여 다른 곳으로 전송하도록 명령합니다.
이러한 차이가 중요한 이유는 많은 신종 AI 공격이 소프트웨어 취약점이 아닌 정보 흐름을 악용하기 때문입니다.
시스템은 탈취된 자격 증명을 통해 침해되지 않았습니다.
인프라가 뚫린 것도 아닙니다.
에이전트가 단지 잘못된 컨텍스트를 따랐을 뿐입니다.
에이전트 시스템에서 컨텍스트는 인증, 암호화 또는 네트워크 분할만큼이나 중요한 보안 경계가 됩니다.
메모리가 새로운 리스크를 생성하는 이유
AI 메모리는 종종 사용자 경험 기능으로 제시됩니다. 논리는 간단합니다. 더 나은 메모리가 더 나은 개인화를 가능하게 한다는 것입니다.
하지만 메모리는 지속성을 생성하며, 지속성은 리스크를 생성합니다.
USENIX 논문은 공격자가 악의적인 지시나 오도하는 정보로 장기 메모리 저장소를 오염시키려 시도할 수 있음을 강조합니다. 메모리에 한 번 기록되면, 해당 콘텐츠는 원래의 상호작용이 종료된 후에도 오랫동안 미래의 결정에 영향을 미칠 수 있습니다.
일시적인 프롬프트 인젝션 공격과 달리, 메모리 오염은 워크플로우, 사용자 및 시간을 초월하여 지속될 수 있습니다. 그 결과 근본적으로 다른 보안 과제가 발생합니다.
메모리는 더 이상 단순한 편의 기능이 아닙니다.
메모리는 인프라입니다.
그리고 인프라에는 거버넌스가 필요합니다.
가장 위험한 에이전트는 권한을 가진 에이전트입니다
에이전트 AI의 가장 큰 리스크는 반드시 모델의 지능에서 오는 것이 아닙니다. 그것은 모델에 부여된 권한에서 옵니다.
잘못된 문단을 생성하는 모델은 불편할 뿐입니다. 하지만 고객 기록, 내부 문서, 금융 시스템, 커뮤니케이션 플랫폼 및 자동화 도구에 접근할 수 있는 에이전트는 실질적인 결과를 초래할 수 있습니다.
조직이 에이전트를 점점 더 강력한 시스템에 연결함에 따라, 초점은 모델의 역량에서 운영 제어로 전환되어야 합니다.
핵심 질문은 더 이상 “모델이 얼마나 똑똑한가?”가 아닙니다. 바로 “모델이 무엇을 할 수 있도록 허용되었는가?”입니다.
신뢰할 수 있는 에이전트 시스템 구축하기
이 논문의 더 넓은 교훈은 에이전트 보안에 심층 방어(defense-in-depth)가 필요하다는 것입니다.
AI 에이전트를 배포하는 조직은 다음 사항을 우선시해야 합니다:
- 신뢰할 수 있는 데이터 vs 신뢰할 수 없는 데이터 — 신뢰할 수 있는 데이터 소스와 신뢰할 수 없는 데이터 소스 간의 강력한 분리
- 권한 경계 — 에이전트가 수행할 수 있는 작업에 대한 명시적 제한
- 메모리 거버넌스 — 장기 메모리 시스템에 대한 제어
- 인간의 승인 — 고위험 작업에 대한 최종 승인
- 감사 및 관측성 — 포괄적인 로깅 및 모니터링
- 도구 접근 정책 — 외부 통합을 위한 명확한 규칙
AI 에이전트가 소프트웨어 기능보다는 직원과 점점 더 닮아가고 있기 때문에, 이러한 원칙은 오랫동안 확립된 사이버 보안 관행을 반영합니다.
더 큰 교훈
업계에서는 AI 에이전트를 종종 디지털 직원이라고 설명합니다. 그 비유는 점점 더 정확해지고 있습니다.
직원은 교육을 받습니다. 직원은 정책에 따라 운영됩니다. 직원은 정의된 권한을 가집니다. 직원은 모니터링됩니다. 직원은 실수를 할 수 있습니다.
AI 에이전트도 다르지 않습니다. 유일한 차이점은 기계의 속도로 실수를 저지를 수 있다는 점입니다.
향후 10년 동안 가장 성공적인 AI 제품은 단순히 가장 유능한 모델을 가진 제품이 아닐 것입니다. 그들은 가장 강력한 신뢰 아키텍처를 갖추게 될 것입니다.
지능은 사용자를 끌어들입니다.
신뢰는 사용자를 유지합니다.
데이터뿐만 아니라 컨텍스트 보호하기
At PrivateNote.ai, 우리는 컨텍스트를 보호하는 것이 데이터 자체를 보호하는 것만큼 중요해지고 있다고 믿습니다. AI 시스템이 우리의 개인적인 노트, 비즈니스 지식 및 운영 워크플로에 더 많이 접근함에 따라, 보안은 저장 및 암호화를 넘어 에이전트가 소비하고 기억하며 실행하는 정보까지 확장되어야 합니다.
