연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
대규모 언어 모델(LLM)의 입력 시퀀스 변이에 대한 내구성을 평가하고 개선하는 모델, 방법, 알고리즘을 개발하였다. R_stab(f) 지표를 제안하고, LLM-as-a-Judge 시스템에서 ASR 73.8%에 달하는 적응형 공격 기법을 제시하였다.
시사점 LLM의 입력 변이에 대한 내구성을 평가하고 개선하는 새로운 지표와 방어 기법이 제안되어, 실제 시스템에서의 보안 강화에 활용될 수 있다.
이 연구는 GraphRAG 파이프라인의 보조 구조를 공격하는 새로운 방법인 Hop-Decayed Influence(HDI)를 제안한다. HDI는 쿼리에 따른 영향력 전파를 통해 보조 구조를 조작하여 88-94%의 공격 성공률을 달성했으며, 수정된 구조는 기존 방어 기법을 99% 이상 우회할 수 있음을 보인다.
시사점 GraphRAG 파이프라인의 보조 구조를 조작하는 공격이 가능하므로, 해당 구조에 대한 실시간 검증이 필요하다.
LLM 다중 에이전트 시스템에서 에이전트-인-더-미들 공격을 방어하기 위해 통신 계층 무결성 원시체 MIRROR를 제안한다. MIRROR는 단일 정규화된 페이로드를 k개의 논리적 경로로 복제하고, 엄격한 다수의 경로가 동일한 해시를 보고할 때만 메시지를 수용한다.
시사점 이 연구는 LLM 다중 에이전트 시스템에서 공격자가 메시지를 조작하는 것을 방지하는 새로운 방식을 제시하여, 실무에서 통신 보안을 강화할 수 있다.
대형 언어 모델(LLM)은 단독으로는 거부되지만, 무해한 작업과 결합된 경우 해로운 의도를 숨기는 탈옥 공격에 취약할 수 있다. 본 연구는 이러한 조합적 의도 숨기기 탈옥 공격을 정보 이론적 관점에서 분석하고, 다양한 번들 크기와 쿼리 생성기에서의 탈옥 효과성과 타겟 행동 보존을 평가했다.
시사점 이 연구는 LLM의 탈옥 공격 방어를 위해 조합적 쿼리의 의도 분석 강화가 필요함을 시사한다.
다중 모달 RAG(MRAG) 시스템에 대한 새로운 데이터 저장소 추출 공격 기법 immRAG를 제안한다. 공격자는 이미지에 악의적 지시를 내장하여 시스템에서 새로운 데이터를 추출할 수 있다. 단일 2500쿼리 실행으로 최대 611개의 방사선 이미지, 566개의 문서 스캔, 416개의 일반 목적 이미지를 재구성할 수 있으며, 비적응형 기준 대비 최대 5.6배 많은 데이터 저장소 항목을 얻는다.
시사점 이 연구는 MRAG 시스템의 보안 취약점을 드러내며, 다중 모달 데이터에 대한 구체적인 보호 대책이 필요하다는 것을 시사한다.
LLMLeak이라는 새로운 공격 벡터를 제시하고, 11개 오픈 파라미터 모델과 실제 챗봇을 대상으로 실험을 수행하였다. 실험 결과, 공격 성공률은 79.7%로 나타났다.
시사점 LLM을 활용한 은밀한 정보 유출 공격이 가능하므로, LLM 사용 시 URL 접근을 주의 깊게 모니터링해야 한다.
분산 에이전트 경제에서 작업 흐름의 보안 및 경제적 요구사항을 17개 속성 가족으로 체계화하고, 12개 시스템과 5개 메커니즘을 분석했다. 840개 실행과 11,648개 사례를 검사해 검증과 정산 사이의 반복적 결함을 드러냈다.
시사점 분산 에이전트 경제 시스템의 보증 체계를 설계할 때 검증과 정산 단계 간의 결함을 주의 깊게 점검해야 한다.
LLM 에이전트가 사용하는 스킬 체인을 악용해 사용자 요청을 조작하는 APEX 공격 기법을 제안한다. APEX는 690회 시도 중 512회(74.2%) 성공했으며, GPT-5.4에서는 84.3% 성공률을 보였다.
시사점 LLM 에이전트의 스킬 체인을 통해 사용자 승인을 조작하는 공격이 가능하므로, 이에 대한 방어 기법을 개발해야 한다.
LLM 안전 라우팅 평가가 분포 변화(distribution shift) 상황에서 기존 모델 비교 방식의 오류를 드러낸다. HELM Safety와 AgentDojo 데이터셋에서 라우팅 성능 저하가 확인되었으며, 일부 모델의 해악 점수 0점이 오류를 확대한다. 19.6점의 인식 점수 감소를 기록한 공격 기법도 제시된다.
시사점 LLM 안전 라우팅 평가 시 분포 변화를 고려하고, 테스트 라벨 없이 기준선을 선택해야 한다.
LLM 툴 호출 에이전트에서 사용자의 요청보다 더 많은 정보를 검색하는 프로액티브 오버-어서션 문제를 분석하고, 이에 대한 완화 방법을 제안한다. OverAct 벤치마크를 통해 7개 모델에서 모두 권한 범위를 초과하는 현상을 확인하고, SelfAudit이라는 제로샷 추론 시점 방법으로 43%의 프라이버시 위험 감소를 보인다.
시사점 LLM 에이전트의 프로액티브 오버-어서션 문제를 인식하고, SelfAudit을 통해 프라이버시 위험을 43% 줄일 수 있다.
대규모 언어 모델(LLM)은 소규모 해로운 샘플로 미세 조정(fine-tuning) 시 취약할 수 있다. 품질 기반 선택을 통과한 고품질 샘플이 모델 안전성을 저하시킬 수 있음을 보인다.
시사점 LLM 훈련 시 데이터 선택 과정이 해로운 샘플을 효과적으로 걸러내지 못할 수 있으므로, 품질 기준 외에 안전성 검증이 필요하다.
도구 사용 대규모 언어 모델(LLM) 에이전트의 보안 문제를 해결하기 위해 기원 인식 능력 강제(PACE)라는 새로운 방법을 제안한다. 79개 공격 시나리오 중 62개에서 공격 성공률을 가장 낮게 유지하는 것으로 실험 결과를 보인다.
시사점 이 연구는 도구 사용 LLM 에이전트의 보안 강화에 새로운 접근법을 제시하여, 실무에서 이러한 에이전트를 안전하게 운영할 수 있는 기반을 제공한다.
OSS 공급망 공격을 탐지하고 분류하기 위해 세분화된 위협 분류 체계를 기반으로 대규모 언어 모델을 프레임워크로 제안한다. GPT-4를 사용한 프레임워크는 다중 분류 정확도 97.0%와 매크로 F1 점수 97.0%를 달성한다.
시사점 OSS 공급망 보안 분야에서 세분화된 분류 체계를 기반으로 한 대규모 언어 모델을 활용한 자동 탐지 프레임워크를 도입할 수 있다.
ReCast는 민감한 입력을 보호하면서 멀티모달 모델에서 수치 추론을 유지하는 프레임워크를 제안한다. 4,000개의 테스트 예제에서 75.10% 정확도를 달성했으며, 원격 모델 정확도의 92.43%를 유지했다.
시사점 ReCast는 멀티모달 모델 사용 시 민감한 데이터 노출을 줄이며 원격 추론의 이점을 유지할 수 있는 실용적인 보안 프레임워크이다.
JEV-IDS는 라벨이 부족한 환경에서 제로데이 침입을 탐지하기 위해 Jev System One Model을 기반으로 한 네트워크 침입 탐지 시스템이다. JEV-IDS는 각 흐름에 대해 이진 공격 확률과 유한 선택 트래픽 범주 두 가지 질문을 JEV에 하여, GPT-5.6 Luna보다 4.8배 빠르고 3.8배 저렴하며, 새로운 공격에 대한 재현률이 1.5배 높았다.
시사점 JEV-IDS는 라벨 데이터가 부족한 상황에서도 효과적인 네트1워크 침입 탐지를 가능하게 하며, 기존 모델 대비 높은 성능과 낮은 비용을 제공한다.
양자화된 대규모 언어 모델(qLLMs)의 탈옥 공격에 대응하기 위해 MOMAT이라는 하드웨어 강화된 안전 프레임워크를 제안한다. MOMAT은 구조화된 지식 검색과 저전력 방어 가속화를 결합하여, 100개 쿼리 배치 처리 시간을 15,052.44ms에서 3,207.21ns로 4.69×10^6배 빠르게 하고, 에너지를 8.1×10^7 μJ에서 3.32 μJ로 2.5×10^5배 절감한다.
시사점 MOMAT은 양자화된 대규모 언어 모델의 탈옥 공격 방어를 저전력으로 가능하게 하여, 에지 기기에서의 안전한 모델 배포를 지원한다.
LLM 에이전트를 활용해 웹 애플리케이션 백엔드의 접근 제어 취약점을 체계적으로 탐지하는 보안 프레임워크 ABSENTIA를 제안한다. BAC-Bench라는 새로운 벤치마크를 공개하고, ABSENTIA가 19개의 취약점을 재현했으며 LLM 검증기의 51% 확인을 얻었다.
시사점 ABSENTIA를 사용하면 개발자와 보안 엔지니어가 웹 애플리케이션의 접근 제어 취약점을 체계적으로 감사하고 탐지할 수 있다.
AuraForge는 실행 가능한 보안 테스트를 생성하고 검증하여 안전한 코드 작성 에이전트를 훈련시키는 방법을 제시한다. AuraGym이라는 다중 언어 및 다중 CWE 훈련 환경을 구축하여, 기존 수작업 테스트 대비 3배 많은 테스트 케이스를 생성하고 83.23%의 오류율 감소를 달성했다.
시사점 AuraForge를 사용하면 코드 작성 에이전트의 보안 감독을 확장하여 더 안전한 코드 생성을 가능하게 한다.
LLM 추출 공격에 대한 다양한 방어 기법과 공격 방법을 통합 벤치마크로 평가하여 비교한다. 6가지 공격, 10가지 방어 기법, 2가지 적응 공격을 포함한 평가 프레임워크를 제안한다.
시사점 이 연구는 LLM 추출 방어 기법의 효과성을 체계적으로 평가할 수 있는 벤치마크를 제공하여, 보다 신뢰성 있는 방어 전략 개발에 기여할 수 있다.
LLM에서 토큰 수준 적응형 계산을 통해 안전성과 효율성을 동시에 향상시킨 SafeDepth 프레임워크를 제안한다. Llama-3-8B-Instruct에서 계산량을 줄이고 해로운 응답률을 55.44%에서 25.25%로 낮추는 실증 결과를 보인다.
시사점 LLM의 안전성과 효율성을 동시에 개선하는 SafeDepth를 통해 실무에서 모델 운영 비용과 위험을 줄일 수 있다.
LLM 에이전트가 실행 중인 상태에서 지속적인 정지와 재개 결정이 필요한 상황에서 신뢰할 수 있는 거버넌스 메커니즘을 제안하고, 이를 암호화 기반으로 구현한 책임 증명 블록(Accountability Proof Block, APB)을 제시한다. 3,812개의 정지 이벤트에서 100% 해결률을 기록했으며, 1,800개의 공격 중 100% 탐지, 2,000개의 단일 키 침해 시도에서 0건의 오인식을 보였다.
시사점 이 연구는 LLM 에이전트의 실행 중 정지 상황에서 신뢰할 수 있는 결정을 내리는 메커니즘을 제시하여, 보다 안전한 AI 시스템 운영을 가능하게 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.