연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
본 연구는 LLM 에이전트가 세션 간 메모리 파일이나 예약된 작업을 통해 상태를 유지하는 취약점을 'Carryover Attack'으로 정의하고 CarryoverBench를 구축했다. 공격 성공 시, 플랜티드 페이로드는 다섯 번의 라운드 동안 측정 가능한 감쇠 없이 재실행되었으며, 이는 런타임 계층 제어가 필요함을 시사한다.
시사점 LLM 에이전트의 장기적인 상태 유지 메커니즘을 고려하여, 프롬프트 수준 개입 외에 런타임 계층의 방어적 통제가 필요하다.
본 연구는 호스트 측 USB 전원 제어 및 장치 상태 변화를 이용하여 에어갭 및 네트워크 분리 시스템에서 정보를 유출하는 SPECTER라는 은닉 채널을 제시했다. 실험 결과, 안드로이드 및 iOS 기기에서 0.2-0.25 bit/sec, 윈도우에서 USB 마우스를 이용해 1.0 bit/sec의 신호 전송이 가능함을 입증했다.
시사점 USB 전원 관리 및 장치 상태 이벤트가 보안적으로 중요한 정보 유출 경로가 될 수 있으므로 이에 대한 모니터링이 필요하다.
본 연구는 단일 및 다중 에이전트 LLM 시스템의 안전을 확보하기 위해, 각 에이전트 수준과 시스템 수준의 검사를 결합한 통합 프레임워크 MAS-Guard를 제안했다. 이 프레임워크는 검증된 시나리오에서 공격 성공률을 71.5-86.3% 감소시키는 것으로 평가되었다.
시사점 복잡한 에이전트 기반 LLM 시스템을 운영할 때는 각 구성 요소와 상호작용에 대한 다층적이고 통합된 보안 검증 메커니즘이 필수적이다.
연구진은 검색된 컨텍스트와 사용자 질의를 함께 평가하여 공격 여부를 분류하는 약 0.5B 파라미터의 소형 언어 모델(SLM)인 nokast-secureRAG를 제안하였다. 이 모델은 검증된 테스트 세트에서 0.026의 오탐률과 0.994의 탐지 재현율을 달성하며 기존 기법들을 능가하였다.
시사점 RAG 시스템의 보안을 강화하기 위해 검색 단계와 생성 단계 사이에 SLM을 활용한 보안 필터링을 적용할 수 있다.
본 연구는 영구 기억을 사용하는 LLM 에이전트가 대화 과정에서 발생하는 정보 누출을 시뮬레이션했으며, 기억에 의존하는 응답이 누적되어 프라이버시 침해를 강화하는 순환 구조를 발견했다. 에이전트의 응답을 통해 해당 순환 구조를 약화시키면 기억 없이도 높은 응답 품질을 유지하면서도 누출을 줄일 수 있었다.
시사점 LLM 에이전트가 기억을 활용할 때, 에이전트의 응답 단계에서 정보 누출을 제어하는 것이 사용자 입력이나 저장된 정보 필터링보다 효과적이다.
본 연구는 LLM 에이전트가 사용하는 장기 기억에 대한 보호 계층인 ClawMMU를 제안하며, 메모리 조각마다 소유자, 범위, 출처, 권한을 레이블링한다. ClawMMU는 콘텐츠가 모델 컨텍스트에 들어가거나 저장소에서 나오거나 도구 호출을 유발할 때마다 이러한 레이블을 검사하여 메모리 공격을 방어한다.
시사점 LLM 에이전트의 메모리 접근에 권한 검사를 도입하여 외부 입력에 의한 악의적인 명령 주입을 방어할 수 있다.
본 연구는 연합 학습에서 모델 소유권 검증에 사용되는 배치 정규화 기반 워터마킹 기법의 근본적인 취약점을 식별하고 이를 공격하는 데이터 비의존적 공격을 제안했다. 실험 결과, 제안된 공격은 대표적인 두 가지 FL 워터마킹 기법에서 모델 성능에 미치는 영향은 최소화하면서 워터마크를 일관되게 제거할 수 있음을 보였다.
시사점 DNN 워터마킹 기법을 평가할 때는 보안을 불투명성에 의존하기보다 커크호프스 원칙에 맞는 위협 모델을 고려해야 한다.
본 연구는 LLM이 접근 권한에 따라 정보 공개 수준을 조절하는 '점진적 공개' 접근법을 제안하고, 이를 공개 인지 생성 문제로 모델링하여 보상 기반 최적화 프레임워크를 도입했다. 실험 결과, 이 방법은 정확도와 유용성을 유지하면서 정보 유출을 상당히 줄이는 것으로 나타났다.
시사점 LLM 배포 시 정보 공개 제어는 생성 과정 자체에 통합되어야 안전하고 유용한 서비스를 제공할 수 있다.
연구진은 wolfSSL을 사용하여 다양한 PQC 알고리즘 조합을 네 가지 장치에서 벤치마킹하며 핸드셰이크 지연 시간과 에너지 소비를 측정했다. 그 결과, 특정 조건에서 최적의 PQC 조합이 고전적 조합보다 TLS 핸드셰이크를 더 빠르게 완료하거나 에너지 효율적임을 발견했다.
시사점 PQC의 성능은 구현 및 아키텍처에 따라 크게 달라지며, 가장 제약적인 장치에서도 순수 PQC가 하이브리드 또는 타원 곡선 대안보다 경쟁력을 가질 수 있다.
연구진은 자율적인 언어 모델 공격자와 방어 모델을 대상으로 330회의 세션을 진행하며 공격자와 방어자의 에너지 소비를 측정했다. 공격자 대 방어자 에너지 비율은 특정 설정에서 48개 중 41개에서 1 이상이었으며, 이는 SCADA 기만 아키텍처의 동기를 부여했다.
시사점 언어 모델 공격에 대응하여 방어 모델을 활용한 기만 전략을 고려할 수 있다.
본 연구는 전통적 에뮬레이션, 경량 LLM, 강력한 클라우드 LLM을 통합한 HydraPoT라는 설정 가능한 다중 에이전트 허니팟 프레임워크를 제안하였다. 이 프레임워크는 운영 비용을 3.7배 절감하면서도 클라우드 LLM 단독 사용과 유사한 수준의 충실도를 달성할 수 있음을 입증하였다.
시사점 운영 예산이 제한적인 상황에서도 설정 가능한 다중 에이전트 라우팅을 통해 현실적인 LLM 기반 허니팟 운영이 가능하다.
본 연구는 구조적 엔트로피, 하이퍼링크 그래프 토폴로지, 의미 토큰 분포 등 다중 특징 영역에 걸쳐 수학적으로 정의된 볼록 껍질 경계를 사용하여 악성 URL을 식별하는 CyberHull 프레임워크를 소개한다. 실험 결과, CyberHull은 92%의 탐지 정확도를 달성하여 PCA 기반 선형 접근법의 32% 정확도를 크게 능가했다.
시사점 기존의 확률적 또는 머신러닝 기반 방법의 한계를 극복하며, 계산 효율적이면서도 결정론적인 악성 URL 탐지 대안을 제시한다.
본 연구는 KGW, GumbelSoft 등 다양한 LLM 워터마킹 기법들의 근본적인 취약점을 '점수-비율 정렬(score-ratio alignment)'이라는 연결고리를 통해 밝혀냈다. 공격자는 블랙박스 접근만으로도 모든 대상 워터마킹 기법에 대해 탐지율을 최대 0.05 이하로 낮추면서도 텍스트 품질을 유지하는 공격을 성공시켰다.
시사점 현재의 워터마킹 방법들은 탐지 점수와 토큰 확률 변화 사이의 본질적인 연결 때문에 현실적인 공격 조건에서 신뢰성을 확보하기 어렵다.
본 연구는 다양한 멀티모달 데이터를 활용한 연합 최적화 시, 각 모달리티별 데이터 보호를 위해 하이브리드 공개 키 암호화(HPKE)를 이용한 키 관리를 제안한다. 이 프레임워크는 DNA 도메인 표현과 구조적 변환을 거쳐 AES-GCM으로 암호화하며, 각 클라이언트 환경에서 필요한 모달리티만 복호화하여 사용한다.
시사점 다양한 형태의 데이터를 결합하여 모델을 최적화할 때, 각 데이터 유형별로 독립적인 암호화 및 키 관리를 적용하여 데이터 프라이버시를 확보할 수 있다.
본 연구는 개별 액션별로 권한을 부여하는 방식이 전역 정책을 만족시키지 못하는 구성적 권한 실패(CAF)가 발생함을 이론적으로 규명했다. SAT/SMT 합성 도구를 사용하여 생성된 CAF 증거에 대해, 각 액션은 승인되었으나 두 실행을 종합했을 때 전역 정책을 위반하는 사례를 발견했다.
시사점 전역 정책을 준수하려면 액션별 모니터링만으로는 불충분하며, 실행 간의 비교 또는 오탐(false alarm)을 수용하는 모니터링이 필요하다.
본 연구는 중앙 서버에 민감한 계수 행렬을 업로드하는 과정에서 발생하는 정보 유출을 막기 위해, 압축된 대리 변수화와 편향된 벡터 공개를 통해 프라이버시를 보장하는 DISTA-LP 프레임워크를 제안하였다. 실제 도로망 데이터셋에 적용한 결과, DISTA-LP는 mDP 위반율이 거의 0에 가까우며, 단일체 및 하이브리드 기준선 대비 계산 시간을 크게 단축하면서도 유틸리티를 유지함을 보였다.
시사점 분산 환경에서 mDP를 적용할 때, 민감한 계수 업로드를 대체할 수 있는 효율적이고 프라이버시를 보장하는 최적화 프레임워크가 필요하다.
본 연구는 기존의 두 가지 아이디어를 결합하고 'compact sharing'이라는 새로운 변형을 도입하여 다단계 MPC 설정에서 통신 비용의 비점근적 감소를 달성했다. 이 프로토콜은 정적 반쯤 정직한 공격자에게 완벽한 보안을 제공하며, 확장 차수와 공격 임계값 사이에 명시적인 상충 관계를 갖는다.
시사점 이 연구는 다자간 컴퓨팅의 통신 오버헤드를 줄이는 새로운 이론적 접근 방식을 제시한다.
본 연구는 규제 준수, 기밀성, 증명 가능성, 확장성을 갖춘 생성 모델용 규제 샌드박스 KNOX를 TEE 내에서 구현하였다. KNOX는 정책 매니페스트(policy manifest)와 비교하여 실행을 검증하고, 모든 활동을 증명 가능한 실행 그래프(attested execution graph)에 기록하며 낮은 오버헤드(<1%)를 보인다.
시사점 생성 모델의 규제 준수 여부를 검증하고 악의적 행위를 모니터링하기 위해 TEE 기반의 격리 환경 구축이 가능하다.
본 연구는 모델 개발을 위한 벤치마크의 인센티브를 악용하는 BenchDoor라는 데이터 중독 공격 기법을 소개했습니다. 이 공격은 Qwen 및 Gemma 모델을 대상으로 포이즈닝 비율 2%에서 10% 사이에서 82.33%에서 100.00%의 공격 성공률을 달성했습니다.
시사점 벤치마크 데이터셋이나 훈련 자원이 공격 벡터로 사용될 수 있으므로, 모델 개발 과정에서 사용되는 데이터의 무결성을 검증해야 한다.
본 연구는 텍스트-이미지 모델이 프롬프트에 명시되지 않은 시각적 개념을 생성할 때, 이를 복구하기 위해 임베딩 공간에서 작동하는 유전 알고리즘인 EmbGA를 제안하였다. EmbGA는 탐색 예산이 클 때 가장 높은 정렬도를 달성했으며, 자연 이미지에 대해 가장 근거 있는 토큰을 복구했고 언어 모델 가이드 검색보다 훨씬 빠르게 실행되었다.
시사점 텍스트-이미지 모델의 잠재적 개념을 탐색하고 검증하는 데 EmbGA와 같은 접근법을 고려할 수 있다.
본 연구는 대규모 의료 영상에 적용되는 연합 학습 시스템에 대해 DCGAN을 이용한 모델 역변환 공격을 제안하고, 공격이 훈련 데이터의 의미 있는 합성 이미지를 재구성할 수 있음을 보였다. 공격 성공률을 낮추기 위해 차분 프라이버시를 적용하고 개인화된 연합 학습을 결합하여 정확도 저하를 극복하는 방어 프레임워크를 제시하였다.
시사점 연합 학습 기반 시스템을 사용할 경우, 공격에 대한 방어책으로 차분 프라이버시와 개인화된 FL을 결합하는 것이 중요하다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.