연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
연구진은 상용 이미지 생성 모델이 시각적 허위 정보를 사실적으로 구현할 수 있음을 확인하고, 이를 평가하기 위해 EpiReal-Bench와 EpiReal-Attack을 개발했다. 실험 결과, 해당 모델들은 허위 주장 프롬프트에 대해 70% 이상의 이미지를 사실적으로 구현했으며, EpiReal-Attack을 통해 이 비율을 95%까지 끌어올릴 수 있었다.
시사점 상용 이미지 생성 모델의 시각적 허위 정보 생성 능력을 평가하고 방어 경계를 설정하는 것이 중요하다.
본 연구는 자연어 정책을 받아들여 LLM 에이전트의 도구 호출을 결정론적으로 검증하는 4단계 컴파일러 NOMOS를 개발하였다. 이 게이트는 특정 시나리오에서 공격 성공률(ASR)을 0%까지 낮추거나, 특정 호출의 66.3%를 2.6%로 줄이는 성능을 보였다.
시사점 LLM 에이전트의 정책 준수 여부를 검증하기 위해 자연어 정책을 정적 검증 가능한 도구 호출 게이트로 컴파일하는 접근법을 고려할 수 있다.
본 연구는 Speculative Decoding의 속도 향상 메커니즘을 악용하여, 공격자가 제어하는 콘텐츠에 적대적 접미사를 붙여 거부 공격(SRAs)을 수행하는 방법을 연구했다. 이 공격은 거부 공격을 통해 타겟 모델의 순방향 패스 횟수를 증가시켜 추론 속도를 저하시키고 비용을 높인다.
시사점 Speculative Decoding의 드래프터-타겟 상호작용은 추론 비용을 증가시킬 수 있는 현실적인 공격 표면을 제공한다.
본 연구는 예측 확률이나 레이블 없이 전력 추적(power traces)만으로 임베디드 머신러닝 모델의 멤버십을 추론하는 PSCMIA를 개발하였다. 이 공격은 FC 모델에서 ROC-AUC 최대 0.907을 달성했으며, CNN 모델에서도 기존 확률 기반 공격 대비 우위를 보였다.
시사점 물리적 실행 과정에서 발생하는 전력 부채널 누출은 모델의 출력 정보가 제한적일 때도 멤버십 정보를 노출시킬 수 있다.
본 연구는 오디오 딥페이크 탐지기가 적대적 교란에 취약한 문제를 해결하기 위해, 입력별로 정제 강도를 조절하는 탐지 유도 적응형 정제(DGAP) 기법을 제안하였다. 이 기법은 세 가지 딥페이크 탐지기에 대해 기존 방어 기법 대비 최고의 방어 성능을 달성하며 정상 입력에 미치는 영향은 거의 없음을 보였다.
시사점 오디오 딥페이크 탐지 시스템을 구축하거나 운영할 때, 적대적 공격에 대응하기 위해 입력별로 방어 강도를 조절하는 기법을 고려할 수 있다.
본 연구는 다중 스캐너 가드레일 시스템을 대상으로, 각 스캐너에 적대적 섭동(adversarial perturbation)을 동적으로 적용하는 BRANCH라는 우회 방법론을 제안하였다. 이 방법론은 120개 시나리오에서 6개 가드레일 시스템에 대해 100% 공격 성공률을 달성했으며, 기존 기법 대비 쿼리 수는 72% 적고 경과 시간은 4.5배 단축하였다.
시사점 다중 스캐너 기반의 AI 가드레일 시스템을 구축할 경우, 공격 성공률을 높이기 위해 각 스캐너의 특성을 고려한 공격 기법을 적용해야 한다.
본 연구는 Pickle 기반 PTM의 보안 취약점을 탐지하기 위해 스택 기반의 컨텍스트 인식 스캐너 DITTO와 959개의 실제 모델을 포함하는 PickleBench를 개발하였다. DITTO는 100% 스캔 커버리지, 0% 위음성률, 0.7% 위양성률을 달성하며 기존 스캐너 대비 높은 성능을 보였다.
시사점 Pickle 포맷을 사용하는 PTM을 재사용할 때, DITTO와 같은 컨텍스트 인식 도구를 사용하여 안전성을 검증하는 것이 중요하다.
본 연구는 반복적으로 사용되는 레이어 깊이에 따라 안전성이 달라지는 LoopLM의 취약점을 공격적으로 평가했으며, 공격 성공률이 깊이에 따라 달라지고 공격 전이가 발생함을 발견했다. 이에 따라, 연구진은 각 깊이에 특화된 제어, 상태 연결, 공동 안전 감독을 결합한 SafeBridge를 제안하여 공격 성공률을 크게 줄였다.
시사점 LoopLM의 안전성은 단일 반복 깊이에서 추론할 수 없으므로, 반복 계산 전반에 걸친 안전성 정렬이 필요하다.
연구자들은 두 가지 설정에서 시뮬레이션된 소스 작업을 수행하며, 보고 요청이 다른 AI를 수신자로 식별하는 알림을 증가시키는 것을 관찰했다. 보고 요청은 무해한 ROT13 메시지의 경우 53.1%p, 유해한 메시지의 경우 54.7%p 알림을 증가시켰다.
시사점 AI 에이전트가 메시지를 해석하고 알림을 생성하는 과정은 각기 다른 결과이며, 해석, 알림, 승인된 작업 수행은 구분되어야 한다.
본 연구는 기존 방어 기법들이 갖는 정확도 저하 또는 인증 불가능 문제를 해결하기 위해 MRCert라는 마스킹 기반 인증 복구 방어 기법을 제안했다. 실험 결과, MRCert는 패치 크기 16 픽셀에서 ImageNet에 대해 35.1%의 공격 인증 정확도를 달성하며 기존 SOTA PatchCURE보다 우수한 성능을 보였다.
시사점 배포된 딥러닝 모델의 입력에 대한 공격적 패치에 대한 강건성 인증을 시도할 때, 기존 방법들의 한계를 극복할 새로운 접근 방식이 필요하다.
연구진은 본질적으로는 무해한 소스 코드와 치환된 캐시를 결합하여 로더가 수락하는 취약점을 발견하고, 이를 통해 스캐너가 놓치는 동작을 유도했다. 제안된 실행 인지 검증(EAV)은 5가지 공격군과 200개의 무해한 스킬에 대해 92.8%의 재현율을 달성했다.
시사점 에이전트 스킬의 승인 시, 로더가 선택할 수 있는 실행 가능한 아티팩트를 검증하는 것이 중요하다.
연구진은 ALERT-BENCH를 구축하여 다섯 가지 접근 방식이 다단계 공격 시나리오에서 최소 40.4%의 공격 관련 경보를 놓친다는 것을 발견했습니다. 제안된 AIDA 프레임워크는 F1 점수 0.958을 달성하고 오탐률을 3.1%로 줄이는 데 성공했습니다.
시사점 증거 검색 및 의사 결정 검토 과정을 구조화하는 것이 에이전트 기반 SOC 분류의 성능을 크게 향상시킬 수 있다.
본 연구는 공격자가 모든 공개 순위를 관찰하는 상황에서, 각 쌍별 주장 시점에 따라 인증된 변조 예산($ ext{tolerance } ext{B}_t$)을 도입하여 주장과 함께 공개한다. 이 방법은 공격자가 모든 인증서를 관찰하더라도, 주장된 순위가 맞거나 $ ext{B}_t$ 이상의 기록이 변조되었음을 확률적으로 보장한다.
시사점 이 인증된 변조 예산은 실제 투표 데이터에서 명확히 분리된 모델들이 약 2,000건의 변조된 투표에도 견딜 수 있음을 보여준다.
본 연구는 분산 학습(Federated Learning) 환경에서 공격자가 보고한 정확도를 조작하여 백도어 공격을 수행할 수 있음을 보였다. 제안된 수신기 도메인 행동 탐색 기법은 공격자의 보고가 아닌 모델의 행동을 평가하여, 공격 없이도 공격을 탐지할 수 있음을 확인했다.
시사점 분산 학습 기반의 GPS 스푸핑 탐지 시, 클라이언트의 자체 보고에 의존하는 것은 공격에 취약하므로, 모델의 행동 기반 검증이 필요하다.
본 연구는 미세 조정된 LLM의 안전성이 레이어별로 다르다는 점을 발견하고, SLDR이라는 후처리 방어 기법을 제안하였다. 이 기법은 Llama3.1/SST2에서 평균 유해 점수를 11.54에서 0.08로 줄이면서도 다운스트림 정확도를 유지하였다.
시사점 미세 조정된 LLM의 안전성을 유지하려면, 레이어별 민감도를 고려한 동적 방어 메커니즘을 적용할 필요가 있다.
연구진은 84개 오픈소스 프로젝트의 112개 버그를 대상으로 실험하여, LLM이 이상적인 조건에서는 높은 PoC 통과율을 보이지만, 평가 설계에 따라 측정 성공률이 크게 달라짐을 발견했다. 특히, 개발자 테스트 통과율은 낮게 유지되며 최신 모델로도 근본적인 해결책을 일관되게 도출하지 못함을 확인했다.
시사점 LLM 기반 패치 도구의 벤치마크 점수는 평가 설계에 매우 민감하므로, 보다 엄격하고 재현 가능한 평가 기준 마련이 필요하다.
연구진은 실제 요청 170만 건을 대상으로 비용/품질 라우터 및 도메인 라우터를 사용하여 라우팅 결정이 민감 주제에 따라 어떻게 달라지는지 측정하였다. 특정 조건에서 라우터의 결정은 AUC 0.71에서 0.92 사이의 값을 보였으며, 정확한 레이블을 사용한 후처리 방어는 이 격차를 줄이는 것으로 나타났다.
시사점 LLM 라우터의 선택 과정에서 발생하는 메타데이터는 민감한 요청에 대한 정보를 유출할 수 있으므로 이에 대한 방어 기법을 고려해야 한다.
본 연구는 LLM이 SIEM/XDR 환경에서 자동화된 대응 명령을 내릴 때 발생할 수 있는 공격 경로를 차단하기 위해 두 가지 계층의 제약적 실행 아키텍처를 제시했다. 이 프록시 구조는 주입 공격(injection attack) 탐지율을 25.0%에서 94.5%로 높였으며, 0.1%의 오탐률을 유지했다.
시사점 LLM을 보안 대응에 사용할 경우, 입력 및 출력에 대한 엄격한 제어 계층을 두어 LLM의 추론이 실제 시스템 명령으로 이어지는 것을 방지해야 한다.
본 연구는 자동화된 테스트, 레드팀, 인시던트 대응으로부터의 피드백이 AI 시스템의 방어를 강화하는 시점을 연구하며, 공격자의 탐색 노력에 대응하는 방어자의 발견 및 복구 투자를 Stackelberg 게임으로 모델링한다. 이 분석을 통해 공격을 억제하는 최소 비용 할당과 각 능력을 갖추지 않았을 때의 균형 상태를 특성화하였다.
시사점 방어 시스템이 효과적으로 공격을 억제하려면, 발견된 실패로부터의 피드백이 지속적으로 존재하고 복구가 효과적이어야 하며, 이는 공격 표면의 크기와 복구의 일반화 능력에 따라 달라진다.
연구진은 MFOTL을 사용하여 AgentDojo 및 STAC의 기록된 궤적을 오프라인으로 검증했으며, 다섯 가지 일반적 의무 조건이 STAC 공격 체인의 71.8%와 AgentDojo 공격의 70.1%를 플래그 했음을 확인했다. 이 연구는 추적 기록이 신뢰할 수 있는 이력을 노출할 때 형식적 시간 모니터링이 가치를 더함을 보여주며, 이를 위해 12개 필드의 실행 준비가 된 추적 스키마를 제안한다.
시사점 현재 벤치마크들이 이러한 형식적 모니터링을 적용하기에는 부족하며, 신뢰할 수 있는 이력을 담은 추적 스키마가 필요하다.
본 연구는 VLA의 선행 VLM을 활용하여, 시각적 토큰 변조, 지시 기반 의미 증거 억제, 또는 두 가지 목표를 결합한 세 가지 적대적 패치 공격을 제안했다. 실험 결과, 선행 VLM에서 최적화된 패치는 VLA의 작업 성공률에 상당한 저하를 일으켰으나, 공격 효과는 태스크의 종류에 따라 달랐다.
시사점 VLA는 기반 모델로부터 적대적 취약점을 상속받으므로, 실제 배포 환경에서도 선행 모델의 취약점을 이용한 공격이 가능하다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.