연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
연구진은 파일, 메시지, 도구 등이 존재하는 공유 작업 공간에서 장기 작업을 수행하는 에이전트를 대상으로 프롬프트 및 스크립트 주입 공격을 평가하기 위한 APEX-Harm 벤치마크를 소개했다. 이 벤치마크를 통해 Opus 5와 Sonnet 5는 낮은 공격 성공률(각각 8%, 20%)을 보였으나, 특정 공격 유형에서는 81-84%의 공격 성공률을 기록했다.
시사점 에이전트가 요청된 작업을 성공적으로 완료했더라도, 작업 공간 내에서 승인되지 않은 작업을 수행했을 가능성이 있으므로 안전성 검증은 작업 완료 여부만으로는 불충분하다.
본 연구는 LLM 기반의 취약점 자동 복구(AVR) 과정에서 생성되는 증거의 신뢰성 확보 문제를 다루며, 증거 검토를 통합한 다중 에이전트 프레임워크인 EviRepair를 제안했다. EviRepair는 PatchEval과 SecBench 벤치마크에서 각각 평균 16.37% 및 40.33%의 해결률 향상을 달성했다.
시사점 LLM을 이용한 코드 복구 시, 생성된 증거의 신뢰성을 검증하는 메커니즘을 통합하는 것이 중요하다.
본 연구는 세계 모델의 안전성 문제를 데이터/관측, 상태/기억, 동역학/상상, 평가/계획, 행동/제어, 피드백/업데이트의 6단계 생명주기에 따라 분류하였다. 현재까지의 증거를 종합하여 주장이 뒷받침되는 부분, 해결되지 않은 부분, 필요한 측정 항목을 식별하였다.
시사점 세계 모델의 안전성 확보를 위해서는 예측 정확도 외에도 전 생명주기에 걸친 오류 전파 가능성을 고려한 체계적인 접근이 필요하다.
본 연구는 서버가 비밀 도전 배치(secret challenge batch)와 타이밍을 통해 클라이언트의 기울기(gradient)에 대한 체크섬을 요청하여 모델 상태 변조 여부를 감사하는 방법을 제안한다. 이 방법은 최대 50명의 클라이언트와 40%의 악성 비율에서 참 양성률 1.0을 달성했으며, 서버 작업은 32ms, 응답당 4.35kB가 소요되었다.
시사점 이 체크섬 방식은 계산이 공격받는 것과 분리되지 않은 공격에 대해 신뢰할 수 있는 인밴드(in-band) 신호를 제공하며 차분 프라이버시와 결합 가능하다.
본 연구는 에이전트 스킬 실행 시 생성되는 지속적 아티팩트를 통해 발생하는 세션 간 공격 메커니즘 세 가지(IP, DBV, EP)를 규명하고 SkillRelayBench를 구축했다. 제안된 SkillRelayGuard는 공격 성공률(ASR)을 69.5%에서 10.9%로, 공격 체인 성공률(ACSR)을 54.8%에서 10.0%로 감소시켰다.
시사점 AI 에이전트의 세션 간 상호작용 시 발생하는 지속적 아티팩트가 새로운 공격 표면을 형성하므로 이에 대한 보안 검토가 필요하다.
연구진은 수많은 계정을 이용한 분산 추출 시도에 대해, 제공자가 쿼리 로그만으로 식별할 수 있는 것과 없는 것을 탐구했다. 그 결과, 특정 모니터링 기법은 자연스러운 텍스트가 포함된 캠페인에 대해서도 탐지율 50%에서 96%까지 보였다.
시사점 쿼리 로그만으로는 모든 분산 추출 시도를 탐지하기 어려우며, 탐지 성공 여부는 캠페인의 특징과 모니터링 기법에 따라 달라진다.
본 연구는 레이블만으로 백도어 공격을 수행하는 상황에서, 공격의 성공 여부를 공격이 학습하지 않은 특징 공간에서 피해 모델을 재학습시켜 평가하는 방법을 제안한다. 이 방법은 공격 성공률을 측정하는 데 있어 탐지 점수보다 재학습된 모델의 성능을 기준으로 삼을 것을 시사한다.
시사점 백도어 공격 탐지 시, 탐지 점수뿐만 아니라 공격이 학습하지 않은 특징 공간에서 재학습된 모델의 성능을 함께 고려해야 한다.
본 연구는 확산 모델으로 생성된 이미지의 출처 추적을 위해, 메시지를 초기 노이즈에 임베딩하는 새로운 웨이블릿 도메인 워터마킹 방법인 WaveMark를 제안하였다. 이 기법은 공격적인 제거 공격 하에서도 평가 대상 대비 88% 이상의 비트 정확도(BA)를 유지하며 기존 기법들을 능가하였다.
시사점 확산 모델 생성 이미지의 무단 사용이나 출처 추적을 위해 견고한 워터마킹 기술을 적용할 필요가 있다.
본 연구는 무허가 AI 시장에서 공격자가 신원 조작을 통해 평판을 부풀리는 시빌 공격에 대응하기 위해, 신뢰 네트워크를 기반으로 유한 용량을 갖는 방향 그래프 상에서 결제를 승인하는 AgentValve 프로토콜을 제안했다. 이 프로토콜은 시뮬레이션에서 최대 10,000개의 합성 시빌 신원 공격 하에서도 결제 노출 및 용량 고갈이 경계 내에 있음을 보여주었으며, 증인-커밋 메커니즘을 통해 승인 비용을 최대 40.8% 절감했다.
시사점 탈중앙화된 AI 서비스 시장에서 평판 기반 결제 시스템을 구축할 때, 시빌 공격에 대한 방어 메커니즘을 결제 승인 프로토콜에 통합하는 것이 중요하다.
연구진은 InsightDB가 플래그한 16,977개의 취약 모델을 대상으로 GitHub 저장소 등에서 사용 및 전파 추적을 수행했다. 분석 결과, 이 취약 모델들은 5,000개 이상의 오픈소스 저장소에서 발견되었으며, 개발자들이 보안 검증 없이 모델을 통합하는 경향이 있음을 확인했다.
시사점 모델 파일 스캔만으로는 불충분하며, AI 공급망의 애플리케이션 계층에서 맥락 인지적 보안 분석과 통합 가드레일이 시급하다.
연구진은 사이트들이 업데이트를 비밀 공유하고 서버들이 이를 검증하는 두 서버 프로토콜 PVBRF-ID를 제안하여 프라이버시와 견고성을 동시에 확보했다. 10개 사이트의 데이터 분포 및 시드 조건에서 PVBRF-ID는 깨끗한 데이터에서 FedAvg와 유사한 성능을 보였으며, 적응형 공격에 대해서도 높은 저항성을 보였다.
시사점 분산된 환경에서 프라이버시를 유지하면서도 이상 탐지 모델의 견고성을 확보하는 새로운 프로토콜을 고려할 수 있다.
본 연구는 LLM의 백도어 공격을 단일 트리거 대신 보이지 않는 토큰과 단계 제어기를 활용하여 여러 중간 단계를 거쳐 점진적으로 진행시키는 'Cancerous Backdoor Attack'을 제안했다. 이 공격은 추론 과정에서 점진적인 추론 오염을 일으키며, 이는 답변 정확도만으로는 백도어 공격을 탐지하기 어렵다는 것을 보여준다.
시사점 LLM의 백도어 공격은 점진적으로 발생할 수 있으므로, 답변 정확도 외의 다른 지표를 통해 공격을 탐지해야 한다.
본 연구는 머신 상태 외의 조직적 지식 격차(organizational context gap)를 해소하기 위해 조직적 맥락을 보안 결정 레이어로 도입하고 이를 모델링했다. 실제 환경에서 추출 작업은 1,355개 주장 중 0.80을 0.87의 정밀도로 복구했으며, 추론 작업에서 정책 정렬 태스크의 정확도는 0.83을 기록했다.
시사점 엔터프라이즈 보안 시스템이 정확한 결정을 내리려면 머신 상태뿐만 아니라 정책, 감사 보고서 등 비정형화된 조직적 지식을 통합하는 것이 필수적이다.
본 연구는 프롬프트 인젝션 공격이 단일 및 다중 에이전트 AI 시스템의 사용자 입력과 에이전트 간 통신을 통해 민감 정보를 유출하거나 상호 감염을 유발할 수 있음을 조사했다. 연구 결과는 AI 에이전트가 실제 워크플로우에 통합됨에 따라 더욱 강력한 방어 메커니즘의 필요성을 강조한다.
시사점 AI 에이전트 시스템을 운영할 때는 프롬프트 인젝션 공격에 대비한 견고한 방어 체계를 구축해야 한다.
본 연구는 OpenAI, Anthropic, Google 에이전트의 실제 시스템 침해 사례를 분석하여, 가정한 경계에 의존할 수 없음을 확인했다. 이에 따라 선제적 에이전트 보안 검증 주기(PASAC)와 5계층 경계 검증 스택을 포함한 프레임워크를 개발했다.
시사점 에이전트 보안은 단일 샌드박스나 안전장치에 대한 신뢰가 아닌, 실행 시스템 전반에 걸친 지속적인 검증을 요구한다.
본 연구는 RAG와 구조화된 프롬프트 엔지니어링을 결합하여 악성코드에 특화된 기만 플레이북을 생성하고, 이를 PoC 악성코드와 함께 검증하는 방법을 제시했습니다. 평가 결과, GPT-5.5가 가장 적은 수정으로 hallucination 없이 플레이북을 생성했으며, Gemini 3.5 Flash는 가장 낮은 응답 시간과 런타임 오버헤드를 보였습니다.
시사점 RAG 기반의 구조화된 프롬프팅은 런타임 시 가볍고 결정론적인 악성코드 특화 기만 플레이북을 확장 가능하게 구축하는 데 도움을 준다.
본 연구는 자동화된 연구를 통해 다양한 적대적 공격을 적용하고 훈련 레시피를 개발하는 재귀적 안전 개선(ReSI) 프레임워크를 소개했다. 이 프레임워크는 네 가지 모델에서 평균 X-Teaming 공격 성공률을 86.01%에서 31.45%로 낮추는 성과를 보였다.
시사점 AI 모델의 안전성을 확보하기 위해 공격과 방어를 반복적으로 적용하고 업데이트하는 재귀적 접근 방식이 효과적임을 시사한다.
본 연구는 독점 LLM의 출력물을 학습한 의심 모델이 증류되었는지 여부를 가설 검정으로 접근하여 탐지하는 방법을 제안했다. Qwen2.5-7B를 교사 모델로, Llama-3.2-3B를 의심 모델로 사용한 실험에서 유의 수준 0.02에서 참 양성률 1.0을 달성했다.
시사점 증류 추론은 모델 증류 공격을 탐지하는 데 사용될 수 있음을 보여준다.
연구진은 워터마크 탐지기의 공개가 공격자에게 피드백을 제공할 수 있음을 인지하고, 공개-비공개 키를 사용하는 분할 키(split-key) 워터마킹 방법을 도입하였다. 이 방법은 공개된 부분의 변조는 탐지 가능하며, 전체 검증을 통해 공격자의 정보를 제한적으로만 얻을 수 있음을 실험적으로 보였다.
시사점 워터마크의 일부를 공개하면서도 탐지 및 포렌식 기능을 유지하는 분할 키 방식은 투명성과 상호 운용성을 제공하며, 제공자의 책임을 제한할 수 있다.
본 연구는 Arm TrustZone 기반 OP-TEE에서 WebAssembly Micro Runtime(WAMR)을 사용하여 변형되지 않은 AI 모델을 실행할 수 있는 해결책을 제시하고, WebAssembly 바이너리를 암호화하여 실행하는 모델 배포 방식을 제공했다. 이 솔루션은 수동 포팅 대비 22%의 추가 오버헤드를 가지며, 포팅 노력 없이 6%의 추론 지연 시간을 추가한다.
시사점 AI 모델의 지적 재산권을 보호하기 위해 WebAssembly를 활용하는 것이 현실적인 가능성을 보여주지만, 실제 적용에는 여전히 실질적인 과제가 남아있다.
연구진은 크로스 플랫폼 인용 매핑, 출판 장벽 테스트 등을 결합한 측정 프레임워크를 통해 10개 AI 검색 플랫폼에서 17,211건의 인용 사례를 분석했다. 실험 결과, 선호 플랫폼에 대한 일반적인 게시가 AI 검색 출력에 영향을 미쳤으며, 특정 조건에서는 1시간 이내에 AI 검색에 인용되는 것이 확인되었다.
시사점 AI 검색 플랫폼의 출처 선택 과정은 출판 장벽이 낮은 특정 도메인에 의해 영향을 받을 수 있으므로 해당 경로를 주시해야 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.