연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
연구진은 시계열적으로 공유되는 시점 변환과 자세 조건부 비디오 모델을 결합한 PoseRegen 프레임워크를 제안하여 워터마크를 제거하면서도 원본 콘텐츠와 움직임을 보존하는 방법을 제시했다. 실험 결과, PoseRegen은 평균 비트 정확도를 무작위 추측 수준인 0.505까지 낮추었으며, 움직임 관련 VBench 지표에서 가장 강력한 베이스라인 대비 9.34% 향상된 성능을 보였다.
시사점 현재 비디오 워터마킹 기법들은 시간적 및 움직임적 품질과 결합하여 견고성을 평가할 필요가 있다.
본 연구는 오디오 및 비디오의 전기적 네트워크 주파수(ENF)를 이용하여 생성형 AI로 합성된 비디오를 인증하는 통합 2채널 검출기를 개발했다. 이 프레임워크는 실제 녹화물에 대해 93% 및 100%의 검출률을 보였으며, 에이전트 기반 오케스트레이터는 정확도를 유지하면서 검사 시간을 54% 단축했다.
시사점 생성형 AI 비디오의 진위를 판별할 때, ENF와 같은 독립적인 물리적 신호를 활용하여 검증의 근거를 마련할 수 있다.
연구진은 모델의 의도 이해와 응답 수준의 안전 행동을 분리 측정하는 RiskCueBench를 구축하고, 이 벤치마크를 통해 의도가 복구된 후에도 맥락적 구체성이 낮아지면 모델의 안전 행동이 저하됨을 발견했다. 구체적으로, 쌍별 부트스트랩 추정치에 따르면 거부율은 0.175 감소했고 전역 안전 점수는 0.440 감소했으며, 혼합 효과 모델링은 안전하지 않은 협력 증가가 0.107임을 확인했다.
시사점 안전성 평가는 응답 행동을 의도의 의미적 복구 가능성에 조건화하여 보고해야 한다.
본 연구는 AI 에이전트가 외부 도구를 호출할 때 사용되는 MCP(Model Context Protocol) 서버의 계약적 취약점을 분석하여, 공격자가 선언된 범위를 벗어나 호스트 파일시스템에 접근하는 '파일시스템 권한 세탁(filesystem capability laundering)' 취약점을 연구했다. 9개 레지스트리에서 조사한 4,806개 서버 중 16.4%가 파일시스템 기능을 가졌으며, 테스트된 샌드박스 정책 하에서 150개의 취약한 인스턴스를 동적으로 검증했다.
시사점 AI 에이전트가 사용하는 도구 호출 시, 선언된 계약 범위를 벗어나는 파일시스템 접근 권한이 부여되지 않도록 서버 수준의 엄격한 권한 검증이 필요하다.
연구진은 TS-Bench AgentDojo-Traj의 레이블링된 단계를 기반으로 LinguaGuardBench를 구축하고, 사용자 지시를 여러 언어로 번역하여 가드에 적용했다. 그 결과, 소규모 및 목적 기반 가드들은 번역에 따라 판단이 바뀌었으며, 특히 희귀 언어일수록 그 영향이 커졌다.
시사점 가드 모델의 판단은 요청의 언어에 민감할 수 있으므로, 언어적 차이에 따른 가드 동작의 일관성을 검토해야 한다.
본 연구는 공격자가 외부 아이템 텍스트에 접근할 경우, 아이템 임베딩이 아이템 정체성을 노출할 수 있음을 코사인 유사도 공격을 통해 입증했다. 이 정보 유출은 피해자 표현과 공격자 정보의 중첩 시 가장 강하게 나타났으며, 희소한 평점으로부터 사용자 재식별로 전파될 수 있음을 발견했다.
시사점 추천 시스템에서 아이템 임베딩을 사용할 경우, 외부 정보 접근에 따른 아이템 정체성 유출 위험을 인지하고 완화 방안을 고려해야 한다.
본 연구는 TEE 기반 LLM의 단방향 가중치 난독화가 가지는 '해결 결정성 속성(SDP)' 취약점을 발견하고, 이를 통해 기존 보호 기법들을 무력화시킬 수 있음을 보였다. 이에 대응하여 입력과 출력 차원을 공동으로 난독화하는 양방향 프레임워크인 BiShield-TEE를 제안했으며, 이는 공격 정확도를 블랙박스 기준선 수준으로 제한함을 실험을 통해 입증했다.
시사점 TEE 환경에서 LLM을 보호하려면 단방향 난독화 대신 입력과 출력을 함께 고려하는 양방향 방어 메커니즘을 적용해야 한다.
본 연구는 대규모 HNSW 기반 RAG 시스템에 대해 Hub-Satellite 구조를 이용한 위상 인식 토픽 수준 오염 공격을 제안하였다. 200만 문서 위키피디아 데이터셋에서 본 공격은 검색 성공률 72% 이상을 유지하며 공격 성공률 31.29%에 도달하였다.
시사점 HNSW 기반 RAG 시스템은 그래프 구조적 취약점을 가지며, 기존 오염 방어 기법으로는 이러한 공격을 완화하기 어렵다.
연구진은 LLM 기반 에이전트의 코드 및 프롬프트에 존재하는 출처 정보가 유출되는 현상을 '은닉적 재작성 공격(covert rewriting attack)'으로 정의하고, 이를 탐지할 수 있는 마킹 기법을 개발했다. 이 마킹 기법은 홀드아웃 게임에서 76개 중 62개 복사본에서 해당 출처를 탐지했으며, 공격자는 이를 무력화할 수 있음을 확인했다.
시사점 LLM 에이전트의 산출물에 대한 출처 추적을 위해서는 공격자의 의도적인 재작성 시도에 견딜 수 있는 견고한 마킹 기법이 필요하다.
연구진은 LLM을 활용하여 다양한 프로그래밍 언어의 코드를 변환하고, 동적 피드백을 통해 SAST 도구의 결함을 탐지하는 LLM4SAST 프레임워크를 개발하였다. 이 프레임워크는 6개 SAST 도구에서 66개의 고유 결함을 식별했으며, 기존 접근법 대비 3.4배 더 많은 결함을 탐지하면서도 필요한 변형은 39.8%에 불과했다.
시사점 LLM을 활용하여 SAST 도구의 결함을 체계적으로 탐지하고 검증하는 새로운 접근 방식이 가능하다.
본 연구는 물리적 포획 상황에서 작동하는 스트리밍 이미지 분류기의 모델 추출 공격에 대한 공격 표면을 분석하였다. 공격자는 적응형 공격을 통해 CIFAR-100에서 5초 만에 86.8%의 성공률을 보였으며, 사전 학습된 백본을 사용할 경우 5초 만에 97.3%의 정확도로 추출이 가능했다.
시사점 물리적 환경에서 모델을 운영할 경우, 공격자가 모델의 잔류물에 접근할 때 공격 성공률이 높아지므로 이에 대한 방어 전략을 고려해야 한다.
본 연구는 특징 기반 악성코드 분류기에 대한 클린-레이블 백도어 공격 시 트리거 값 선택 전략을 독립적인 설계 요소로 연구하였다. 공격 성공률은 높았으나, 특정 공격 벡터는 격리 포레스트(Isolation Forest)와 같은 정제(sanitization) 방법으로 탐지될 수 있음을 확인하였다.
시사점 트리거 값 선택은 공격의 효과뿐만 아니라 탐지 가능성 프로파일을 결정하는 중요한 설계 선택 사항이다.
본 연구는 RAG(Retrieval-Augmented Generation) 시스템에서 발생하는 프라이버시 위험에 대해 기존 DP-RAG 방법론들을 분류하고 분석했습니다. 연구는 단일 질의에서 다중 질의로 확장될 때 프라이버시 보장을 해석하는 데 필요한 세 가지 차원(프라이버시 세분성, 계산 범위, 공개 경계)을 제시합니다.
시사점 DP-RAG의 $\varepsilon$ 값은 보호 대상 단위, 계산 범위, 공개 경계라는 세 가지 요소와 함께 해석되어야 한다.
연구진은 지식 증류(Knowledge Distillation) 후에도 공격 효과를 유지하는 지원 지속형 백도어 공격 기법인 DAR을 제안하였다. 이 기법은 클린 데이터 증류 후에도 공격 성공률을 96% 이상 유지하며 방어에 강한 특성을 보였다.
시사점 모델 재사용 환경에서 지식 증류를 통한 백도어 제거는 불가능하며, 새로운 공격 기법에 대한 방어적 관점이 필요하다.
본 연구는 클라이언트 측에서 학습 가능한 손실 압축기(lossy compressor)를 사용하여 압축적이고 해석 가능한 표현을 생성함으로써 프라이버시 침해 위험을 줄이는 FedSumUp을 제안했다. 실험 결과, ChestMNIST에서 클라이언트 실행 시간을 최대 96.5% 감소시키면서도 경쟁적인 분류 정확도를 달성했다.
시사점 자원 제약적인 환경에서 연합 학습을 적용할 때, 프라이버시와 유틸리티 간의 균형을 맞추기 위해 압축 및 표현 공유 기법을 고려해야 한다.
본 연구는 맥락 의존적이고 상호 중첩되는 보안 인터뷰 데이터의 진정한 자기 공개를 분석하기 위해 CARE-SD라는 새로운 4모듈 아키텍처를 개발하였다. 이 아키텍처를 Llama 3B 등 세 가지 로컬 SLM에 적용한 결과, Llama 3B의 Macro-F1 점수가 0.80에서 0.88로 향상되었고, 근거 없는 주장은 60% 감소하였다.
시사점 CARE-SD 아키텍처는 대규모 모델 없이도 소형 모델의 분석 능력을 향상시켜, 제한된 환경에서 민감한 대화 내용을 신뢰성 있게 분석하는 데 도움을 준다.
연구진은 평가 출력값은 유지하면서도 배포 환경을 변조한 공격을 측정하는 DIB-Bench를 개발하고, 이를 통해 평가자 능력에 따른 변조 수용률이 규칙 기반에서 GPT-5-nano까지 88.6%에서 94.1%까지 상승함을 확인했다. 또한, 출력 변화가 없는 변조는 모든 샘플 크기에서 탐지 불가능하지만, 매니페스트 해시 채널은 제로 샘플로 탐지 가능함을 보였다.
시사점 LLM 평가 시 출력값 외에 배포 환경의 무결성을 검증하는 것이 중요하다.
본 연구는 에이전트의 승인 경로에 대한 12가지 공격을 정의하고, Agent Payments Protocol(AP2) 등 실제 프로토콜에 적용하여 취약점을 분석했다. 또한, ASU(Agent Step-Up)라는 방어 기법을 제안하고 27,108회의 시뮬레이션에서 공격 성공률을 0.54에서 0.03으로 낮추는 것을 입증했다.
시사점 에이전트의 중요한 행위에 대한 승인 과정은 공격에 취약할 수 있으므로, 신뢰할 수 있는 바인딩 메커니즘을 통해 승인 단계를 강화해야 한다.
본 연구는 모델 프라이버시, 데이터 프라이버시, 무결성 세 가지 보장을 동시에 제공하는 MPC 기반의 확장 가능한 연합 학습 시스템 NOMAI를 제안했다. NOMAI는 최대 10^6명 이상의 사용자에게 적용 가능하며, 각 반복 학습에 소요되는 사용자당 연산 시간을 각각 <350ms (준정직) 및 <700ms (악의적)로 줄였다.
시사점 대규모 사용자 환경에서 프라이버시와 무결성을 유지하며 연합 학습을 구현할 수 있는 새로운 MPC 기반 접근법이 가능하다.
연구진은 실제 에이전트 대화 기록을 편집하여 특정 피해를 유발하면서도 모니터링 시스템을 우회하는 공격 파이프라인 Screwtape을 개발했다. 이 파이프라인을 적용하여 252회 시도 중 35개의 공격이 검증되었으며, 이 중 6개는 외부 모니터도 우회함을 확인했다.
시사점 개발자는 이 공격을 사용하여 모니터링의 사각지대를 수정할 수 있으며, 평가자는 모니터의 안전성 주장에 대한 반례로 활용할 수 있다.
본 연구는 다양한 프롬프트 인젝션 탐지 모델들을 평가하고, 실제 운영 환경에서의 허용/차단/에스컬레이션과 같은 운영적 의사결정의 어려움을 분석했다. 평가 결과, LLM 심판기가 가장 높은 전반적 판별력(AUROC 0.897)을 보였으나, 모든 시스템이 1%의 위양성률 목표를 달성하려면 91.8% 이상의 에스컬레이션이 필요했다.
시사점 확률적 출력만으로는 분포 변화 상황에서 신뢰할 수 있는 보안 결정을 내리기 어려우며, 효과적인 LLM 보안 시스템은 탐지, 보정, 검토자 행동 및 운영 정책을 종합적으로 평가해야 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.