연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
본 연구는 공개 가중치 LLM의 안전 취약점을 공격하기 위해, 프롬프트의 임베딩 벡터에 독립적인 가우시안 노이즈를 추가하는 PEV(Perturbed Embedding Vector) 공격 기법을 제안했다. 이 기법은 기존 공격 대비 계산 비용이 낮으며, 테스트한 모든 모델에서 JailbreakBench 데이터셋에 대해 안전하지 않은 응답을 생성함을 확인했다.
시사점 LLM의 임베딩 벡터에 대한 교란은 보안상 위험 요소이지만, 모델의 동적 거동을 탐색하는 데도 유용한 연구 방향을 제공한다.
본 연구는 LLM 에이전트가 다중 행위자 환경에서 공격받는 상황을 고려하여, 피해 발생 시점을 추적하는 통합적 추적 수준 오용 모니터링 형식을 개발했다. 이 형식으로 구축된 약 6,200개의 대화 기록을 분석한 결과, 제안된 행동 기반 모니터는 두 가지 위협 모두에서 높은 성능을 보였으나, 내용 기반 모니터는 공격에 취약한 것으로 나타났다.
시사점 LLM 에이전트의 오용을 모니터링할 때는 공격의 유형과 피해 발생 시점을 고려한 통합적 접근 방식이 필요하다.
본 연구는 5가지 멀티모달 모델을 대상으로 이미지-텍스트 Jailbreak 공격 시 이미지 측 요인이 공격 성공에 미치는 영향을 분석했다. 그 결과, 특정 공격 이미지들은 공격 성공률을 상당히 높였으나, 측정된 속성 중 E4 조작만이 Qwen3-VL-8B에서 공격 성공에 기여하는 것으로 나타났다.
시사점 멀티모달 모델의 이미지 입력에 대한 공격 성공 여부를 판단할 때, 이미지의 특정 속성(예: E4 조작)이 공격에 기여하는 바가 있음을 시사한다.
본 연구는 기존 백도어 방어 평가가 오염된 피해 모델에만 측정되어 방어 비용을 왜곡함을 지적하고, 오염되지 않은 모델의 '순수 쌍둥이(twin)'를 사용하여 방어의 순수 비용을 측정하는 TARE 방법론을 개발했다. 이 방법론을 적용한 결과, 특정 방어 기법들은 순수 쌍둥이 모델에 대해서도 비용을 부과하거나 파괴하는 것으로 나타났다.
시사점 백도어 방어의 효과를 평가할 때는 오염되지 않은 모델을 대상으로 방어의 순수 비용을 측정하는 접근 방식이 필요하다.
본 연구는 LLM 에이전트의 실행 경계에서 발생하는 간접 프롬프트 인젝션(IPI)에 대응하기 위해, 실행 전 단일 승인 계약을 통해 효과를 검증하는 APEX라는 능동적 방어 기법을 제시하였다. APEX는 6가지 벤치마크 중 5가지에서 0%의 공격 성공률을 달성했으며, 세 가지 유형의 에이전트 구성 요소에 대해 적응형 공격에서도 0%의 성공률을 유지하였다.
시사점 LLM 에이전트의 외부 출력이나 내부 상태 변화가 아닌, 실행 경계에서 권한 부여 여부를 검증하는 방어 메커니즘을 구축해야 한다.
본 연구는 실행 수준 이상으로, 지시된 제약 조건을 위반하면서도 공격자가 지정한 목표로 의사결정이 유도되는 위험을 측정하기 위해 DIBench라는 의사결정 무결성 벤치마크를 제시했다. 4개 에이전트 프레임워크와 7개 기반 모델을 대상으로 실험한 결과, 완료 기반 평가는 에이전트의 신뢰성을 과대평가하고 의사결정 무결성 위험을 놓칠 수 있음을 확인했다.
시사점 모바일 에이전트의 안전성 평가는 단순 실행 성공률을 넘어, 의사결정 과정에서의 목표 편향 위험을 측정할 수 있는 통합적이고 재현 가능한 벤치마크가 필요하다.
연구자는 대규모 언어 모델(LLM)을 이용한 자율적인 보안 연구 시도 중, 모델이 목표 달성 과정에서 스스로 성능을 저해하는 경향을 관찰했다. 이러한 현상은 프롬프트의 모호성이 높고 탐색 범위가 넓을 때 두드러지게 나타났다.
시사점 LLM이 요청을 수락하는 것과 실제로 협력하는 것은 다르므로, 연구 시에는 목표를 매우 구체적으로 한정하는 것이 중요하다.
본 연구는 보안 검사를 통과했으나 취약점을 포함하는 침묵적 실패를 보이는 LLM 에이전트의 수리 과정에서 최초의 보안 의도 이탈 지점을 추적하는 SAGE를 제안했다. SAGE를 6개 에이전트 프레임워크와 6개 기반 모델로 생성된 3,684개 추적 기록 중 95개 확인된 침묵적 실패에 대해 93개 사례에서 근원을 할당했다.
시사점 LLM 에이전트의 수리 과정에서 발생하는 보안 취약점의 근원을 추적하는 새로운 방법론이 제시되었다.
연구진은 SAE가 언어 모델의 내부 표현을 조작할 수 있는 공격 표면을 만든다는 것을 보였으며, 이는 공격자가 원하는 동작을 유도하는 디코더 전용 SAE 백도어를 삽입하는 방식으로 구현 가능하다. 이 기법은 코드 생성 사례 연구에서 세 가지 언어 모델에 걸쳐 높은 비율의 원치 않는 코드 삽입을 시연했다.
시사점 SAE는 언어 모델 자체를 수정하지 않고도 행동적 백도어를 가질 수 있으므로 보안에 민감한 구성 요소로 취급해야 한다.
본 연구는 릴리스 파이프라인에서 요구사항을 충족하지 못하는 객체가 포함되는 '유효 증거 하의 의미적 누락(SOVE)' 문제를 정의하고, 이를 방지하기 위한 복제적 승인 계층인 H-CRSPV를 제안했다. 이 프로토타입은 36개의 누락 산물에 대해 제출된 객체 검증은 모두 통과했으나, H-CRSPV는 36개를 거부하고 6개의 정직한 릴리스만 수락했다.
시사점 개별 객체의 유효성만으로는 완전하고 올바르게 바인딩된 릴리스 증거를 확보할 수 없으므로, 릴리스 검증 시 계층적이고 통합적인 검증 메커니즘이 필요하다.
본 연구는 개별적으로는 보안 검증을 통과한 무해한 에이전트 스킬들을 조합했을 때 발생하는 잠재적 위험을 탐색하는 CRIME 방법론을 제시했다. 이 방법론은 목표 악의적 행동을 구성 요소별 요구사항으로 분해하고, 실행 피드백을 통해 스킬 조합을 반복적으로 정제하여 목표 행동을 유도할 수 있음을 보였다.
시사점 에이전트 시스템에서 사용되는 개별 모듈의 안전성 검증만으로는 조합으로 인해 발생하는 새로운 보안 취약점을 완전히 보장할 수 없다.
연구진은 페어드 리플레이 테스트베드를 사용하여 광범위한 권한, 범위 지정된 JWT, 그리고 정책 에이전트(OPA) 조건 하에서 LLM 에이전트의 도구 실행을 테스트했다. 그 결과, 광범위한 권한 하에서는 악성 실행이 8.9%에서 37.8%까지 발생한 반면, 범위 지정된 조건에서는 모든 경우에서 실행이 기록되지 않았다.
시사점 작업 권한을 부여하는 것은 프롬프트 인젝션을 막는 것이 아니라, 부여된 작업 범위 내에서 공격의 결과를 격리하는 데 효과적이다.
연구진은 제한된 측정 자원 하에서 신뢰성 있는 결정을 내리기 위해 적응형 샷 가변 양자 회로(AS-VQC) 정책을 도입하여 양자 이상 추론을 수행했다. 이 정책은 평균적으로 129.2~276.9 샷을 사용하여 균일 1024-샷 기준 대비 각각 87.4%, 73.0%, 87.2%의 샷을 절약했으며, 분석적 추론과의 불일치율은 0.771% 이하를 달성했다.
시사점 양자 측정을 추론 자원으로 취급하고 경계 민감한 TI 보안 결정에 집중함으로써, 제한된 양의 양자 측정으로도 신뢰성 있는 보안 분석이 가능하다.
본 연구는 검증이 완료되지 않은 콘텐츠가 검색 증강 생성(RAG) 벡터 저장소에 유입될 때 발생하는 시간적 공격 표면을 제어하기 위해 가시성 프로토콜을 제안했다. 이 프로토콜은 검증 대기열 상황에서 마감 기한을 설정함으로써 비동기적 승인 대비 오염된 검색 결과를 중앙값 34개에서 7개로 줄이는 것을 확인했다.
시사점 지속적으로 콘텐츠를 주입하는 RAG 시스템에서는 검증 단계를 거치면서도 콘텐츠의 노출 시점을 제어하는 프로토콜이 필요하다.
본 연구는 IoT 네트워크의 스트리밍 환경에서 레이블 플립 및 노이즈 주입 공격에 대한 적대적 훈련(AT) 방어의 효능을 평가하였다. 가장 강력한 오염률(PR = 1.0)에서 AT-SRP는 레이블 플립 공격에 대해 F1 점수 0.904를 달성했고, AT-LB는 노이즈 주입 공격에 대해 F1 점수 0.933을 달성하였다.
시사점 스트리밍 환경에서 ML 모델을 사용할 경우, 데이터 오염 공격에 대한 방어 전략의 효능을 검증할 필요가 있다.
본 연구는 $f$-발산으로부터 보안을 정의하는 다중 비트 텍스트 워터마킹 프레임워크를 도입했으며, 코딩 기반 기법을 통해 주어진 발산 예산 내에서 다음 토큰 분포를 최적으로 편향시킨다. 이 접근 방식은 기존 대비 낮은 워터마크 탐지 가능성을 달성하면서도 경쟁적인 메시지 복구 성능을 유지한다.
시사점 이 연구는 다양한 언어 모델과 페이로드 영역에 걸쳐 보안 다중 비트 워터마킹에 대한 통일된 관점을 제공한다.
연구진은 실제 인물 정보를 기반으로 합성한 822개의 익명화 인터뷰 기록을 사용하여, 웹 검색 기능을 갖춘 LLM의 재식별 위험을 평가했습니다. 공격 성공률은 대상이 검색 결과에 나타날 경우 88% 이상이었으며, 공격 시나리오에 따라 각 구성 요소가 재식별에 기여하는 바를 분석했습니다.
시사점 LLM이 웹 검색 도구를 사용할 경우, 익명화된 정보라도 재식별 공격에 취약하며, 공격 경로 추적을 통해 익명화 방어에 대한 통찰을 얻을 수 있다.
연구진은 공격자가 대화 기록을 기반으로 이미지 생성에 은닉된 워터마크(PLW)를 삽입하여 개인정보를 유출하는 새로운 공격을 소개하였다. 이 공격은 테스트된 모든 대화 분리 상황에서 우울증과 같은 민감 속성을 100.0%의 TPR로 탐지하면서도 오탐률은 1%로 유지하였다.
시사점 통합 멀티모달 모델을 사용할 때, 로컬 환경에 배포된 모델이라도 대화 기록을 통해 이미지 생성 과정에서 개인정보가 유출될 수 있으므로 이에 대한 경계를 늦추지 말아야 한다.
본 연구는 대규모 네트워크 트래픽 데이터에 대한 침입 탐지 시스템(IDS)의 수동적이고 반복적인 데이터 전처리 과정을 자동화하기 위해 AutoDP-LLM이라는 프레임워크를 제안했다. 이 프레임워크는 LLM을 활용하여 실행 가능한 데이터 전처리 파이프라인을 생성하고 검증하며, UNSW-NB15 및 NSL-KDD 벤치마크 데이터셋에서 경쟁적인 탐지 성능을 달성했다.
시사점 LLM을 활용하여 IDS의 데이터 전처리 파이프라인 구축 및 최적화에 필요한 수작업과 계산 오버헤드를 줄일 수 있다.
본 연구는 문법 제약 디코딩과 확률 인지 워터마킹을 통합한 Grammar-Guided Code Watermarking with Green Temperature (GTCW)를 제안하였다. GTCW는 다섯 가지 모델과 다섯 가지 벤치마크에서 평균 AUROC 73.61%를 달성하며, 이는 가장 강력한 기준선(baseline)의 67.83% 대비 향상된 수치이다.
시사점 코드 생성 모델의 워터마킹 시, 문법적 제약을 유지하면서도 워터마크 신호를 강화하는 기법을 적용할 수 있다.
본 연구는 능동적 개인 에이전트(proactive agents) 환경에서 제공자가 사용자 맥락 접근 없이도 에이전트를 특정 목표로 유도하는 공격 벡터를 분석했다. 이 공격은 세 가지 실패 모드를 통해 실행되며, 테스트된 모든 환경에서 최대 77.4 퍼센트포인트의 목표 승인 증가를 가져왔다.
시사점 사용자에게 서비스를 제공하는 에이전트의 기능이 사용자-에이전트 관계 외부의 목표를 위해 전용될 수 있으므로 신뢰 경계를 재정의해야 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.