연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
본 연구는 연합 학습 환경에서 악의적인 서버가 기존 LLM 워터마킹을 제거할 수 있음을 보이고, 이에 대응하여 공격자로부터 독립적인 워터마킹 기법인 CamoMark를 제안하였다. CamoMark는 3.3%의 워터마크 데이터만으로도 $p$-value $= 1.82 imes10^{-2}$의 탐지 신뢰도를 달성했으며, 워터마크 비율을 높이면 탐지 신뢰도는 $p$-value $= 5.11 imes10^{-11}$에 도달한다.
시사점 연합 학습 환경에서 LLM의 워터마킹을 적용할 경우, 공격적인 서버의 존재가 워터마크 제거 메커니즘으로 작용할 수 있으므로, 공격자로부터 독립적인 워터마킹 기법을 고려해야 한다.
본 연구는 엣지 디바이스에서 실행되는 LLM에 대해 전자기파(EM) 부채널 공격을 시연하여, 추론 과정에서 발생하는 물리적 누설을 통해 민감 정보를 복구할 수 있음을 보였다. 공격은 프로파일링 공격으로 97.2%의 정확도로 생성 토큰을 식별하거나, 재구성 공격으로 94.3%의 정확도로 토큰을 예측하는 등의 방법을 사용했다.
시사점 로컬 실행만으로는 생성된 토큰이나 사용자 입력의 기밀성을 보장할 수 없다.
본 연구는 수직적 연합 학습에서 공격자가 내부 최적화 과정을 통해 임베딩에 신호를 남기는 공격을 발견하고, 서버가 수신하는 임베딩의 불일치(Fisher class-separability)를 통해 이를 탐지한다. 이 방어 기법은 공격자에게만 작용하며, CIFAR-10, CIFAR-100, CINIC-10 데이터셋에서 태스크 정확도 손실 없이 레이블 추론을 탐지한다.
시사점 수직적 연합 학습 환경에서 공격자가 내부 최적화 과정을 통해 레이블 정보를 유추하려 할 때, 서버가 수신하는 임베딩의 미묘한 차이를 통해 공격을 탐지하고 방어할 수 있다.
본 연구는 외부 메모리인 현대 호플드 네트워크(MHN)를 호스트 모델에 추가하여 각 학습 정체성에 대한 프로토타입을 구축하고 이를 관리하는 MCU 프레임워크를 제안했다. 이 프레임워크는 외부 메모리에서 해당 프로토타입을 제거하고 제한된 지원 정보로 모델을 재적응시키는 과정을 통해 정보 제거의 가능성을 보여주었다.
시사점 MCU는 외부 메모리를 활용하여 데이터가 없는 상황에서도 모델의 특정 정보를 제거하는 데 잠재력을 제공한다.
본 연구는 세 단계 방어 파이프라인을 갖춘 AI 에이전트 보안 시스템을 대상으로 19개 공격 목표에 대한 프롬프트 엔지니어링 공격 전략을 경험적으로 연구하였다. 최종 온라인 점수는 0.2630이었으며, 19개 시도 중 5개 작업에서 완전 우회가 달성되었다.
시사점 다층 방어 체계는 내장된 행동 제약과 결합될 경우, 프롬프트 엔지니어링만으로는 달성할 수 있는 공격 성공률을 상당히 제한한다.
연구진은 스마트 글라스를 위한 하드웨어 인식 프레임워크 SAGE를 제안하여 원본 이미지를 보호된 토큰으로 압축하고 전송하는 방식을 구현하였다. 이 방법은 추론 지연 시간을 39.18% 감소시키고 전송 패킷 크기를 96.56% 줄이면서도 참조 대비 85.62%의 유틸리티를 유지하였다.
시사점 프라이빗 웨어러블 VLM 추론은 모델 압축뿐만 아니라 표현 보호, 통신, 실제 장치 실행 전반에 걸쳐 통합적으로 최적화되어야 한다.
본 연구는 널리 사용되는 오픈소스 LLM 게이트웨이인 LiteLLM(v1.77.7)에 대해 보안 평가를 수행했고, 권한 없는 사용자가 `/config/update` 엔드포인트를 통해 설정을 변경할 수 있는 등 여러 고위험 취약점을 발견했다. 이 취약점들은 LiteLLM 버전 1.83.9에서 해결되었다.
시사점 LLM 게이트웨이 사용 시 권한 검증 누락과 같은 설정 취약점에 대해 주의 깊게 살펴보고 최신 버전으로 업데이트해야 한다.
본 연구는 침입 탐지 오류가 운영 비용에 미치는 영향을 고려하여, 머신러닝 예측 오류를 전력망 운영 사이버-물리적 위험 비용으로 변환하는 최적화-학습 프레임워크를 제안했다. 두 가지 전력망 운영 데이터셋(ICS Cyber Attack 및 Sherlock)에 대한 실험 결과, 제안된 접근법이 기존 방식 대비 전력망 운영 비용을 개선함을 보였다.
시사점 전력망 운영의 사이버 보안 침입 탐지 시, 탐지 오류의 운영적 결과를 고려하는 것이 중요하다.
본 연구는 LLM 에이전트가 외부 도구와 상호작용할 때 발생하는 신뢰 경계의 취약점을 탐색하기 위해 ToFu라는 도구 인식 프레임워크를 개발하였다. 이 프레임워크를 사용하여 3405개의 도구를 포함하는 273개 MCP 서버를 평가했고, 118개 서버의 343개 도구에서 CWE 취약점과 일치하는 버그를 확인했다.
시사점 실제 도구들은 문서화된 입력 의미론을 제대로 강제하지 못하므로, LLM이 생성한 인수를 신뢰해서는 안 된다.
연구진은 파일, 메시지, 도구 등이 존재하는 공유 작업 공간에서 장기 작업을 수행하는 에이전트를 대상으로 프롬프트 및 스크립트 주입 공격을 평가하기 위한 APEX-Harm 벤치마크를 소개했다. 이 벤치마크를 통해 Opus 5와 Sonnet 5는 낮은 공격 성공률(각각 8%, 20%)을 보였으나, 특정 공격 유형에서는 81-84%의 공격 성공률을 기록했다.
시사점 에이전트가 요청된 작업을 성공적으로 완료했더라도, 작업 공간 내에서 승인되지 않은 작업을 수행했을 가능성이 있으므로 안전성 검증은 작업 완료 여부만으로는 불충분하다.
본 연구는 LLM 기반의 취약점 자동 복구(AVR) 과정에서 생성되는 증거의 신뢰성 확보 문제를 다루며, 증거 검토를 통합한 다중 에이전트 프레임워크인 EviRepair를 제안했다. EviRepair는 PatchEval과 SecBench 벤치마크에서 각각 평균 16.37% 및 40.33%의 해결률 향상을 달성했다.
시사점 LLM을 이용한 코드 복구 시, 생성된 증거의 신뢰성을 검증하는 메커니즘을 통합하는 것이 중요하다.
본 연구는 세계 모델의 안전성 문제를 데이터/관측, 상태/기억, 동역학/상상, 평가/계획, 행동/제어, 피드백/업데이트의 6단계 생명주기에 따라 분류하였다. 현재까지의 증거를 종합하여 주장이 뒷받침되는 부분, 해결되지 않은 부분, 필요한 측정 항목을 식별하였다.
시사점 세계 모델의 안전성 확보를 위해서는 예측 정확도 외에도 전 생명주기에 걸친 오류 전파 가능성을 고려한 체계적인 접근이 필요하다.
본 연구는 서버가 비밀 도전 배치(secret challenge batch)와 타이밍을 통해 클라이언트의 기울기(gradient)에 대한 체크섬을 요청하여 모델 상태 변조 여부를 감사하는 방법을 제안한다. 이 방법은 최대 50명의 클라이언트와 40%의 악성 비율에서 참 양성률 1.0을 달성했으며, 서버 작업은 32ms, 응답당 4.35kB가 소요되었다.
시사점 이 체크섬 방식은 계산이 공격받는 것과 분리되지 않은 공격에 대해 신뢰할 수 있는 인밴드(in-band) 신호를 제공하며 차분 프라이버시와 결합 가능하다.
본 연구는 에이전트 스킬 실행 시 생성되는 지속적 아티팩트를 통해 발생하는 세션 간 공격 메커니즘 세 가지(IP, DBV, EP)를 규명하고 SkillRelayBench를 구축했다. 제안된 SkillRelayGuard는 공격 성공률(ASR)을 69.5%에서 10.9%로, 공격 체인 성공률(ACSR)을 54.8%에서 10.0%로 감소시켰다.
시사점 AI 에이전트의 세션 간 상호작용 시 발생하는 지속적 아티팩트가 새로운 공격 표면을 형성하므로 이에 대한 보안 검토가 필요하다.
연구진은 수많은 계정을 이용한 분산 추출 시도에 대해, 제공자가 쿼리 로그만으로 식별할 수 있는 것과 없는 것을 탐구했다. 그 결과, 특정 모니터링 기법은 자연스러운 텍스트가 포함된 캠페인에 대해서도 탐지율 50%에서 96%까지 보였다.
시사점 쿼리 로그만으로는 모든 분산 추출 시도를 탐지하기 어려우며, 탐지 성공 여부는 캠페인의 특징과 모니터링 기법에 따라 달라진다.
본 연구는 레이블만으로 백도어 공격을 수행하는 상황에서, 공격의 성공 여부를 공격이 학습하지 않은 특징 공간에서 피해 모델을 재학습시켜 평가하는 방법을 제안한다. 이 방법은 공격 성공률을 측정하는 데 있어 탐지 점수보다 재학습된 모델의 성능을 기준으로 삼을 것을 시사한다.
시사점 백도어 공격 탐지 시, 탐지 점수뿐만 아니라 공격이 학습하지 않은 특징 공간에서 재학습된 모델의 성능을 함께 고려해야 한다.
본 연구는 확산 모델으로 생성된 이미지의 출처 추적을 위해, 메시지를 초기 노이즈에 임베딩하는 새로운 웨이블릿 도메인 워터마킹 방법인 WaveMark를 제안하였다. 이 기법은 공격적인 제거 공격 하에서도 평가 대상 대비 88% 이상의 비트 정확도(BA)를 유지하며 기존 기법들을 능가하였다.
시사점 확산 모델 생성 이미지의 무단 사용이나 출처 추적을 위해 견고한 워터마킹 기술을 적용할 필요가 있다.
본 연구는 무허가 AI 시장에서 공격자가 신원 조작을 통해 평판을 부풀리는 시빌 공격에 대응하기 위해, 신뢰 네트워크를 기반으로 유한 용량을 갖는 방향 그래프 상에서 결제를 승인하는 AgentValve 프로토콜을 제안했다. 이 프로토콜은 시뮬레이션에서 최대 10,000개의 합성 시빌 신원 공격 하에서도 결제 노출 및 용량 고갈이 경계 내에 있음을 보여주었으며, 증인-커밋 메커니즘을 통해 승인 비용을 최대 40.8% 절감했다.
시사점 탈중앙화된 AI 서비스 시장에서 평판 기반 결제 시스템을 구축할 때, 시빌 공격에 대한 방어 메커니즘을 결제 승인 프로토콜에 통합하는 것이 중요하다.
연구진은 InsightDB가 플래그한 16,977개의 취약 모델을 대상으로 GitHub 저장소 등에서 사용 및 전파 추적을 수행했다. 분석 결과, 이 취약 모델들은 5,000개 이상의 오픈소스 저장소에서 발견되었으며, 개발자들이 보안 검증 없이 모델을 통합하는 경향이 있음을 확인했다.
시사점 모델 파일 스캔만으로는 불충분하며, AI 공급망의 애플리케이션 계층에서 맥락 인지적 보안 분석과 통합 가드레일이 시급하다.
연구진은 사이트들이 업데이트를 비밀 공유하고 서버들이 이를 검증하는 두 서버 프로토콜 PVBRF-ID를 제안하여 프라이버시와 견고성을 동시에 확보했다. 10개 사이트의 데이터 분포 및 시드 조건에서 PVBRF-ID는 깨끗한 데이터에서 FedAvg와 유사한 성능을 보였으며, 적응형 공격에 대해서도 높은 저항성을 보였다.
시사점 분산된 환경에서 프라이버시를 유지하면서도 이상 탐지 모델의 견고성을 확보하는 새로운 프로토콜을 고려할 수 있다.
본 연구는 LLM의 백도어 공격을 단일 트리거 대신 보이지 않는 토큰과 단계 제어기를 활용하여 여러 중간 단계를 거쳐 점진적으로 진행시키는 'Cancerous Backdoor Attack'을 제안했다. 이 공격은 추론 과정에서 점진적인 추론 오염을 일으키며, 이는 답변 정확도만으로는 백도어 공격을 탐지하기 어렵다는 것을 보여준다.
시사점 LLM의 백도어 공격은 점진적으로 발생할 수 있으므로, 답변 정확도 외의 다른 지표를 통해 공격을 탐지해야 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.