연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
연구진은 코딩 에이전트가 대화 컨텍스트를 단일 문자열로 평탄화(flattening)할 때, 공격자가 주입한 사용자의 턴을 진본적인 명령으로 위장하여 에이전트 메모리에 주입할 수 있음을 발견했다. 이 공격은 특정 평탄화 도구에서 최대 100%의 성공률을 보였으며, 이를 통해 공격자가 원하는 코드를 실행시키거나 코드 리뷰를 속일 수 있었다.
시사점 에이전트의 컨텍스트 압축 시 직렬화 단계에서 역할 레이블(role labels)을 유지하거나 검증하는 것이 공격을 방어하는 데 중요하다.
본 연구는 디지털 포렌식에서 LLM을 활용할 때, 공격자가 통제하는 증거를 통해 추론 레이어에 대한 안티포렌식 공격이 발생함을 밝히고 공격의 분류 체계를 제시한다. 연구진은 공격자가 심증적 도구, 인간 조사관, 모델이 증거를 다르게 인식하는 지점을 이용하여 세 가지 공격 시나리오를 시연했다.
시사점 LLM을 디지털 포렌식에 적용할 경우, 공격자가 의도적으로 조작한 증거를 통해 모델의 추론 과정에 영향을 주는 새로운 공격 벡터가 존재하므로 이에 대한 방어적 관점이 필요하다.
본 연구는 입력에 따라 동적으로 실행 경로가 달라지는 MoE LLM의 견고성 인증을 위해, 입력 유도 라우팅 동역학을 명시적으로 고려하는 CertMoE 프레임워크를 제안했다. 이 계층적 인증 절차는 기존 방법의 인증 실패율을 30% 이상에서 0으로 줄이는 결과를 보였다.
시사점 MoE LLM의 견고성을 인증할 때는 동적 라우팅을 고려하는 접근 방식이 기존 방법보다 훨씬 더 신뢰할 수 있는 인증을 제공한다.
연구진은 자체 및 공개된 13개 취약점 발견 도구를 분석하여, 모델 실행 전후의 엔지니어링 선택으로 인해 취약점이 누락되는 13가지 지점을 분류 체계화하였다. 이 연구는 이러한 누락 현상을 이해하고 도구를 개선하며, 공격자가 취약점을 숨기는 데 이를 악용할 수 있음을 보여준다.
시사점 LLM 기반 취약점 발견 도구를 구축할 때는 엔지니어링적 선택으로 인한 데이터 누락 지점을 인지하고 이를 해결하는 것이 중요하다.
연구진은 결제 승인과 같은 중요한 행동을 수행하는 AI 모니터들의 실패 가능성을 측정했으며, 열두 개의 소규모 오픈 가중치 모니터와 세 개의 폐쇄형 최신 모델을 대상으로 실험을 진행했다. 새로운 데이터에 대해 출처 수를 세는 규칙은 올바른 결제를 0.9% 차단했고, 최적의 카운팅 규칙은 7.4%를 차단했다.
시사점 모니터의 입력을 다양화하고, 모니터를 강화하며, 투표 수가 아닌 출처 수를 세는 것이 중요하다.
본 연구는 어셈블리 언어 모델(ALM)에서 숫자형 피연산자의 정체성을 보존하기 위해, 코드, 데이터, 스택 컨텍스트를 구조적 측면 기술자로 인코딩하는 NumAnchor를 제안하였다. 이 방법은 다양한 ALM 계열에서 최대 35.0%의 Recall@1 및 31.7%의 MRR 향상을 달성하며, 점프 및 콜 타겟 정렬에서 98.7%의 계층적 위치 정확도를 보였다.
시사점 ALM을 이용한 바이너리 분석 시, 숫자형 피연산자의 구조적 정보를 보존하는 입력 표현 기법이 모델 성능 향상에 기여함을 시사한다.
본 연구는 다중 에이전트 시스템(MAS)을 대상으로 하는 강화학습 기반의 레드팀 공격 프레임워크인 ReMAS를 제안한다. 이 프레임워크는 공격 LLM을 미세 조정하여 시스템 프롬프트 추출에 효과적인 적대적 프롬프트를 생성하며, 기존 공격 대비 성공률을 향상시켰다.
시사점 다중 에이전트 시스템은 적응형 블랙박스 공격에 취약하며, 이에 대한 강력한 방어책 마련이 중요하다.
본 연구는 K-12 학교 생태계 전반에 걸친 6가지 차원으로 구성된 AI 보안 리터러시(AISL) 프레임워크를 제안하고, 이를 실제 AI 모델 기반의 브라우저 플랫폼으로 구현하였다. 설문 조사 결과, 교사 중 34.5%만이 학교 AI 정책을 가지고 있었으며, 기술적 견고성 평가는 공격과 훈련된 모델에 따라 달라짐을 확인하였다.
시사점 AI 기술이 교육 현장에 도입됨에 따라, 교육 생태계 전반에 걸친 AI 보안 리터러시 역량 확보가 필요하다.
본 연구는 대화형 LLM 서비스의 영속적 메모리 기능을 악용하여 세션 간 공격 전파가 가능한 메모리 주입(memory injection)이라는 새로운 위협 모델을 제시하였다. 이 모델을 통해 ChatGPT Instant 5.3, Claude Sonnet 4.6, Gemini 3 Flash 등 주요 서비스들이 영속적으로 허위 정보를 유포하거나 유해 콘텐츠를 생성하도록 조작될 수 있음을 입증하였다.
시사점 상용 LLM 서비스의 영속적 메모리 기능은 공격자가 세션을 넘어 지속적으로 시스템을 침해할 수 있는 새로운 공격 경로를 제공하므로 이에 대한 방어 메커니즘 구현이 시급하다.
연구진은 오픈소스 하네스를 사용하여 24가지 모델-러너 구성을 실제 코드베이스에 적용하여 취약점 발견 과정을 연구하였다. 네 가지 모델을 사용한 실험에서, 최소 프롬프트에서 CodeQL 기반 콜 그래프를 갖춘 엔지니어링된 프롬프트로 전환 시, 소규모 및 중급 모델의 가중치 부여된 수율이 20-86% 향상되었다.
시사점 LLM 기반 취약점 발견 시, 모델, 프롬프트, 컨텍스트를 작업에 맞게 매칭하고 여러 구성을 결합하는 것이 광범위한 커버리지를 위해 중요하다.
본 연구는 LLM 에이전트가 세션 간 메모리 파일이나 예약된 작업을 통해 상태를 유지하는 취약점을 'Carryover Attack'으로 정의하고 CarryoverBench를 구축했다. 공격 성공 시, 플랜티드 페이로드는 다섯 번의 라운드 동안 측정 가능한 감쇠 없이 재실행되었으며, 이는 런타임 계층 제어가 필요함을 시사한다.
시사점 LLM 에이전트의 장기적인 상태 유지 메커니즘을 고려하여, 프롬프트 수준 개입 외에 런타임 계층의 방어적 통제가 필요하다.
본 연구는 단일 및 다중 에이전트 LLM 시스템의 안전을 확보하기 위해, 각 에이전트 수준과 시스템 수준의 검사를 결합한 통합 프레임워크 MAS-Guard를 제안했다. 이 프레임워크는 검증된 시나리오에서 공격 성공률을 71.5-86.3% 감소시키는 것으로 평가되었다.
시사점 복잡한 에이전트 기반 LLM 시스템을 운영할 때는 각 구성 요소와 상호작용에 대한 다층적이고 통합된 보안 검증 메커니즘이 필수적이다.
연구진은 검색된 컨텍스트와 사용자 질의를 함께 평가하여 공격 여부를 분류하는 약 0.5B 파라미터의 소형 언어 모델(SLM)인 nokast-secureRAG를 제안하였다. 이 모델은 검증된 테스트 세트에서 0.026의 오탐률과 0.994의 탐지 재현율을 달성하며 기존 기법들을 능가하였다.
시사점 RAG 시스템의 보안을 강화하기 위해 검색 단계와 생성 단계 사이에 SLM을 활용한 보안 필터링을 적용할 수 있다.
본 연구는 영구 기억을 사용하는 LLM 에이전트가 대화 과정에서 발생하는 정보 누출을 시뮬레이션했으며, 기억에 의존하는 응답이 누적되어 프라이버시 침해를 강화하는 순환 구조를 발견했다. 에이전트의 응답을 통해 해당 순환 구조를 약화시키면 기억 없이도 높은 응답 품질을 유지하면서도 누출을 줄일 수 있었다.
시사점 LLM 에이전트가 기억을 활용할 때, 에이전트의 응답 단계에서 정보 누출을 제어하는 것이 사용자 입력이나 저장된 정보 필터링보다 효과적이다.
본 연구는 LLM 에이전트가 사용하는 장기 기억에 대한 보호 계층인 ClawMMU를 제안하며, 메모리 조각마다 소유자, 범위, 출처, 권한을 레이블링한다. ClawMMU는 콘텐츠가 모델 컨텍스트에 들어가거나 저장소에서 나오거나 도구 호출을 유발할 때마다 이러한 레이블을 검사하여 메모리 공격을 방어한다.
시사점 LLM 에이전트의 메모리 접근에 권한 검사를 도입하여 외부 입력에 의한 악의적인 명령 주입을 방어할 수 있다.
본 연구는 연합 학습에서 모델 소유권 검증에 사용되는 배치 정규화 기반 워터마킹 기법의 근본적인 취약점을 식별하고 이를 공격하는 데이터 비의존적 공격을 제안했다. 실험 결과, 제안된 공격은 대표적인 두 가지 FL 워터마킹 기법에서 모델 성능에 미치는 영향은 최소화하면서 워터마크를 일관되게 제거할 수 있음을 보였다.
시사점 DNN 워터마킹 기법을 평가할 때는 보안을 불투명성에 의존하기보다 커크호프스 원칙에 맞는 위협 모델을 고려해야 한다.
본 연구는 LLM이 접근 권한에 따라 정보 공개 수준을 조절하는 '점진적 공개' 접근법을 제안하고, 이를 공개 인지 생성 문제로 모델링하여 보상 기반 최적화 프레임워크를 도입했다. 실험 결과, 이 방법은 정확도와 유용성을 유지하면서 정보 유출을 상당히 줄이는 것으로 나타났다.
시사점 LLM 배포 시 정보 공개 제어는 생성 과정 자체에 통합되어야 안전하고 유용한 서비스를 제공할 수 있다.
연구진은 자율적인 언어 모델 공격자와 방어 모델을 대상으로 330회의 세션을 진행하며 공격자와 방어자의 에너지 소비를 측정했다. 공격자 대 방어자 에너지 비율은 특정 설정에서 48개 중 41개에서 1 이상이었으며, 이는 SCADA 기만 아키텍처의 동기를 부여했다.
시사점 언어 모델 공격에 대응하여 방어 모델을 활용한 기만 전략을 고려할 수 있다.
본 연구는 전통적 에뮬레이션, 경량 LLM, 강력한 클라우드 LLM을 통합한 HydraPoT라는 설정 가능한 다중 에이전트 허니팟 프레임워크를 제안하였다. 이 프레임워크는 운영 비용을 3.7배 절감하면서도 클라우드 LLM 단독 사용과 유사한 수준의 충실도를 달성할 수 있음을 입증하였다.
시사점 운영 예산이 제한적인 상황에서도 설정 가능한 다중 에이전트 라우팅을 통해 현실적인 LLM 기반 허니팟 운영이 가능하다.
본 연구는 구조적 엔트로피, 하이퍼링크 그래프 토폴로지, 의미 토큰 분포 등 다중 특징 영역에 걸쳐 수학적으로 정의된 볼록 껍질 경계를 사용하여 악성 URL을 식별하는 CyberHull 프레임워크를 소개한다. 실험 결과, CyberHull은 92%의 탐지 정확도를 달성하여 PCA 기반 선형 접근법의 32% 정확도를 크게 능가했다.
시사점 기존의 확률적 또는 머신러닝 기반 방법의 한계를 극복하며, 계산 효율적이면서도 결정론적인 악성 URL 탐지 대안을 제시한다.
본 연구는 KGW, GumbelSoft 등 다양한 LLM 워터마킹 기법들의 근본적인 취약점을 '점수-비율 정렬(score-ratio alignment)'이라는 연결고리를 통해 밝혀냈다. 공격자는 블랙박스 접근만으로도 모든 대상 워터마킹 기법에 대해 탐지율을 최대 0.05 이하로 낮추면서도 텍스트 품질을 유지하는 공격을 성공시켰다.
시사점 현재의 워터마킹 방법들은 탐지 점수와 토큰 확률 변화 사이의 본질적인 연결 때문에 현실적인 공격 조건에서 신뢰성을 확보하기 어렵다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.