연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
본 연구는 에이전트 시스템에서 스킬 선택에 사용되는 메타데이터를 대상으로 엔드투엔드 공격 표면을 발견하고, 이를 악용하는 MetaCascade 프레임워크를 제안했다. 이 프레임워크는 네 가지 데이터셋과 두 가지 에이전트를 대상으로 평균 공격 성공률(ASR)에서 기존 베이스라인 대비 각각 35.53%p, 34.65%p 향상된 공격 성능을 달성했다.
시사점 에이전트 시스템의 스킬 선택 과정에서 사용되는 메타데이터 역시 공격 벡터가 될 수 있으므로 이에 대한 보안 검증이 필요하다.
본 연구는 공유 워크플로우 저장소에 대한 무결성 공격을 방어하기 위해 모든 궤적에 암호화 서명을 적용하고 런타임 검증을 수행하는 보호 프레임워크를 제시했다. 이 보호 체계는 평균 F1 점수 85.26%와 탐지율 79.97%를 달성하며 기존 기법 대비 약 2.02배 향상된 성능을 보였다.
시사점 LLM 에이전트가 공유 워크플로우를 사용할 경우, 공격으로부터 무결성을 지키기 위해 암호화 서명 및 검증 메커니즘을 도입해야 한다.
본 연구는 엄격한 평가 프로토콜을 적용하여 연합 학습 기반 IDS의 백도어 공격 방어 기법들을 분석하였다. 그 결과, 특정 조건에서 RepGuard가 FLTrust보다 우수한 성능을 보였으나, 공격 트리거 크기에 따라 방어 효과가 나타나거나 사라짐을 확인하였다.
시사점 FL-IDS 방어 기법을 평가할 때는 공격 트리거의 크기나 공격자의 트리거 지식 여부가 방어 성공률에 결정적인 영향을 미친다.
연구진은 150개의 실제 취약점을 기반으로 구축된 Last Secure Code Benchmark를 통해 코딩 에이전트의 보안 코드 생성 능력을 평가했다. 가장 뛰어난 에이전트조차도 모든 시나리오에서 기능적이고 보안적으로 올바른 코드를 생성한 비율은 25.1%에 불과했다.
시사점 AI 코딩 에이전트가 생성한 코드의 보안성을 검증할 수 있는 체계적인 벤치마크가 필요하다.
본 연구는 AI 에이전트를 활용하여 윈도우 드라이버, 리눅스 커널, 펌웨어, 웹 애플리케이션 등 다양한 대상의 취약점을 찾는 경험적 워크플로우를 제시하였다. 이 반복적인 에이전트 기반 접근 방식이 다양한 대상에 걸쳐 일반화될 수 있음을 확인하였다.
시사점 자율적인 취약점 발견을 위해 AI 에이전트를 활용하는 것이 향후 연구 방향으로 중요하다.
연구진은 모델 병합(model merging) 과정에서 발생하는 단방향 병합 조건부 백도어(OMCB)의 존재를 이론적으로 분석하고, 이를 공격하는 SMOKE 프레임워크를 제안했다. 이 공격은 다양한 모델 구조와 병합 기법에 대해 효과적이며 기존 백도어 탐지 기법에 대한 저항성을 보였다.
시사점 LLM의 모델 병합 패러다임에 새로운 취약점이 존재하며, 이는 기존 백도어 탐지 기법으로도 탐지되지 않을 수 있다.
본 연구는 모델 파라미터나 출력 수정 없이 외부 결정 계층에서 작동하는 DUOW라는 경량 프레임워크를 제안하여, 동등한 대안들 사이에서 선택을 리디렉션하여 소유권 신호를 삽입한다. 이 방법은 최대 90%의 로그 삭제에도 신뢰성 있는 소유권 검증을 달성했으며, 평균 단계당 지연 시간은 0.043ms였다.
시사점 다중 에이전트 시스템의 라우팅 정책을 외부적으로 보호하고 복제 시도를 탐지할 수 있는 새로운 접근법을 제시한다.
연구진은 코딩 에이전트가 사용자 권한으로 실행될 때 발생하는 공격에 대응하기 위해, 모든 요청을 중개자(broker)를 통해 검증하는 제로 트러스트 에이전트 셀(ZTAC)을 제안했다. macOS 프로토타입을 사용하여 74가지 공격 시나리오를 평가한 결과, ZTAC은 2가지 공격만 실패했고 46가지 중 43가지의 정상 작업을 성공적으로 처리했다.
시사점 AI 코딩 에이전트와 같이 권한을 가진 에이전트를 운영할 때는, 실행 환경을 커널 샌드박스 내에 두고 모든 객체 접근을 중개자를 통해 검증하는 격리 메커니즘이 필요하다.
본 연구는 코드 생성 과정 중 보안 취약점을 모니터링하고, 보안 규칙이 발동되면 생성 흐름 내에서 경고를 삽입하며 복구하는 SecReason이라는 In-stream 방어 기법을 제시하였다. 이 기법은 특정 작업에서 보안 및 기능적으로 올바른 코드를 생성하는 비율을 15% 미만에서 72.8%~98.1%까지 높였다.
시사점 LLM이 생성한 코드의 보안 검증은 생성 과정 중에 이루어져야 하며, SecReason과 같은 In-stream 방어 기법을 고려할 필요가 있다.
본 연구는 LLM 에이전트의 영구 기억 형성 과정에 대한 적대적 조작을 '메모리 형성 포이즈닝'으로 정의하고, 다섯 가지 인터페이스를 포함하는 진단 벤치마크 MemForm을 도입하였다. 여섯 가지 LLM과 두 가지 응답 형식을 대상으로 평가한 결과, 평가된 기억 프로토콜과 구현에서 모든 다섯 가지 인터페이스에서 광범위한 취약성이 발견되었으며, 기억 형성 과정의 순서가 다운스트림 행동에 영향을 줄 수 있음을 확인하였다.
시사점 LLM 에이전트의 영구 기억에 기록되는 내용뿐만 아니라 기억이 형성되는 방식 자체를 보호하는 것이 중요하다.
본 연구는 LLM 생성 텍스트의 출처를 확인할 필요성에 따라, UTF-8 바이트에 신호를 정의하는 통합 워터마킹 기법인 ByteMark를 제안하였다. 이 기법은 다양한 토크나이저와 임베딩 모델에 독립적으로 적용 가능하며, 검출 시에도 높은 탐지율을 유지한다.
시사점 LLM 생성 텍스트의 출처를 확인할 때, 토크나이저나 임베딩 모델에 의존하지 않는 바이트 레벨의 워터마킹 기법을 고려할 수 있다.
본 연구는 Jev 기반 파이프라인에서 세 가지 어댑터 출력(상태 추출, 질문 생성, 출력 해석)을 통해 System One 모델의 경계 취약점을 조사했다. 각 어댑터는 공격자의 통제 없이도 최종 결정에 영향을 줄 수 있음을 세 가지 소규모 합성 연구를 통해 보여주었다.
시사점 모델의 각 구성 요소가 최종 결정에 미치는 영향을 이해하고 검증하는 것이 중요하다.
본 연구는 토큰 생성 시 워터마크를 삽입하고 정규화된 UTF-8 바이트 단위로 점수화하는 TI-WM을 소개했다. 이 방법은 Qwen3-8B에서 평균 공격 AUC 0.530, Gemma 4 E4B에서 0.664를 달성하며 공격 시나리오를 제시했다.
시사점 TI-WM은 국소적 점수화 보장을 제공하며, 공격 시나리오에 따른 탐지 성능 향상을 측정할 수 있다.
연구진은 실제 코드 커밋에서 발생하는 자연스러운 코드 변환을 수집하고, 이를 취약점 분석 에이전트에 적용하여 에이전트의 성공에 미치는 영향을 평가했다. 그 결과, 단일 형태의 변환만으로도 Codex와 GPT-6 Sol과 같은 최신 에이전트의 취약점 발견 성공률을 효과적으로 감소시킬 수 있음을 발견했다.
시사점 실제 소프트웨어 개발 과정에서 발생하는 코드 변환을 방어 기법으로 활용하여 공격 에이전트의 공격을 혼란스럽게 만들 수 있다.
본 연구는 데이터베이스만 유출된 상황에서 리소스 제약적 시스템의 비밀번호 추측 공격에 대응하기 위해 체인 레지스트리 기반의 변환 기법 ARMOR를 제안하였다. 평가 결과, 특정 조건에서 공격 성공률을 0.10% 이하로 낮추거나, 적절한 설정 시 공격 복구율을 0%로 만들 수 있음을 확인하였다.
시사점 리소스 제약 환경에서 비밀번호 데이터베이스 유출 시, ARMOR와 같은 변환 기법을 적용하여 오프라인 추측 공격의 성공률을 낮추는 방어적 접근이 가능하다.
본 연구는 연합 학습 환경에서 악의적인 서버가 기존 LLM 워터마킹을 제거할 수 있음을 보이고, 이에 대응하여 공격자로부터 독립적인 워터마킹 기법인 CamoMark를 제안하였다. CamoMark는 3.3%의 워터마크 데이터만으로도 $p$-value $= 1.82 imes10^{-2}$의 탐지 신뢰도를 달성했으며, 워터마크 비율을 높이면 탐지 신뢰도는 $p$-value $= 5.11 imes10^{-11}$에 도달한다.
시사점 연합 학습 환경에서 LLM의 워터마킹을 적용할 경우, 공격적인 서버의 존재가 워터마크 제거 메커니즘으로 작용할 수 있으므로, 공격자로부터 독립적인 워터마킹 기법을 고려해야 한다.
본 연구는 엣지 디바이스에서 실행되는 LLM에 대해 전자기파(EM) 부채널 공격을 시연하여, 추론 과정에서 발생하는 물리적 누설을 통해 민감 정보를 복구할 수 있음을 보였다. 공격은 프로파일링 공격으로 97.2%의 정확도로 생성 토큰을 식별하거나, 재구성 공격으로 94.3%의 정확도로 토큰을 예측하는 등의 방법을 사용했다.
시사점 로컬 실행만으로는 생성된 토큰이나 사용자 입력의 기밀성을 보장할 수 없다.
본 연구는 수직적 연합 학습에서 공격자가 내부 최적화 과정을 통해 임베딩에 신호를 남기는 공격을 발견하고, 서버가 수신하는 임베딩의 불일치(Fisher class-separability)를 통해 이를 탐지한다. 이 방어 기법은 공격자에게만 작용하며, CIFAR-10, CIFAR-100, CINIC-10 데이터셋에서 태스크 정확도 손실 없이 레이블 추론을 탐지한다.
시사점 수직적 연합 학습 환경에서 공격자가 내부 최적화 과정을 통해 레이블 정보를 유추하려 할 때, 서버가 수신하는 임베딩의 미묘한 차이를 통해 공격을 탐지하고 방어할 수 있다.
본 연구는 외부 메모리인 현대 호플드 네트워크(MHN)를 호스트 모델에 추가하여 각 학습 정체성에 대한 프로토타입을 구축하고 이를 관리하는 MCU 프레임워크를 제안했다. 이 프레임워크는 외부 메모리에서 해당 프로토타입을 제거하고 제한된 지원 정보로 모델을 재적응시키는 과정을 통해 정보 제거의 가능성을 보여주었다.
시사점 MCU는 외부 메모리를 활용하여 데이터가 없는 상황에서도 모델의 특정 정보를 제거하는 데 잠재력을 제공한다.
본 연구는 문서의 발행 주체, 진본 문서로부터 학습한 참조 지문, 그리고 포렌식 모듈의 증거 결합을 통해 TrustPaper 솔루션을 제시했습니다. 이 솔루션은 두 발행 주체와 여섯 가지 위조 기법을 대상으로 프로토타입을 평가했으며, 진본 문서에 대해서는 오탐 없이 모든 위조 시도를 플래그 지정할 수 있었습니다.
시사점 문서의 발행 주체별 고유한 특징을 분석하여 PDF 문서의 위변조 여부를 판별하는 새로운 접근 방식을 고려할 수 있다.
본 연구는 세 단계 방어 파이프라인을 갖춘 AI 에이전트 보안 시스템을 대상으로 19개 공격 목표에 대한 프롬프트 엔지니어링 공격 전략을 경험적으로 연구하였다. 최종 온라인 점수는 0.2630이었으며, 19개 시도 중 5개 작업에서 완전 우회가 달성되었다.
시사점 다층 방어 체계는 내장된 행동 제약과 결합될 경우, 프롬프트 엔지니어링만으로는 달성할 수 있는 공격 성공률을 상당히 제한한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.