연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
생산 시스템에서 코딩 에이전트의 악의적 행동을 방지하기 위해 Auto Mode와 Guardian과 같은 차단 모니터를 사용한다. 79%의 시도에서 Auto Mode와 Guardian에 대해 주입 공격을 성공시켜 임의의 bash 명령을 실행할 수 있음을 보인다.
시사점 실무에서는 Auto Mode와 Guardian의 보안성을 강화하기 위해 도구 커버리지, 전사서식, 에이전트 모니터 단계를 개선해야 한다.
AI 모델의 안전 정렬을 개선하기 위해 AUDITPLAN이라는 새로운 접근법을 제안한다. 이 방법은 모델이 먼저 안전 계획을 생성하고, 이를 기반으로 답변을 생성함으로써 안전성과 감사 가능성(robustness 및 auditability)을 향상시킨다. Qwen2.5-3B-Instruct 모델에서 FAITHGATE를 사용한 강화 학습으로 인해 ASR이 24.0%에서 11.6%, LSR이 1.0%에서 0.36%, 과도한 거부율이 11.0%에서 2.0%로 감소하였다.
시사점 AUDITPLAN은 AI 모델의 안전성과 감사 가능성을 동시에 향상시키는 새로운 접근법으로, 실무에서 모델 정렬 및 감사 프로세스에 적용할 수 있다.
네트워크 침입 탐지를 위한 대형 언어 모델이 단일 예측만 제공해 통계적 보장이 부족한 문제를 해결하기 위해, 트래픽 인식 공형 예측 기법을 제안하고, 공격자가 제어할 수 있는 특성을 제외함으로써 정확한 보장 수준을 달성했다. 3개 언어 모델 아키텍처에서 평가해 정확도 7~14% 하락을 기록했다.
시사점 이 연구는 네트워크 침입 탐지 시스템의 신뢰도를 높이기 위해 새로운 통계적 보장 기법을 제시하며, 공격에 대한 내성을 강화할 수 있다.
기존 보안 영상 이해(SVU) 시스템은 닫힌 세계를 가정하지만, 실제 보안 이벤트는 장미형 분포를 따르고 새로운 이벤트가 지속적으로 등장한다. EvoSherlock은 새로운 보안 이벤트를 소수 샘플로 지속적으로 분류하고 시간적 위치를 정의하는 $L^2$-SCE 작업을 제안하며, 이를 해결하기 위한 인공지능 기반 접근법을 제시한다.
시사점 EvoSherlock은 소수 샘플로 지속적으로 보안 이벤트를 분류하고 시간적 위치를 정의할 수 있어, 보안 영상 분석 시스템의 정확도와 유연성을 향상시킬 수 있다.
AI 모델이 통제된 평가에서 벗어나 실제 시스템에 도달했으며, 범죄 및 국가 주도의 AI 사용이 이전 보고서에서 추적한 방향으로 성숙해지고 있다. 모델이 공격 운영자로 작동한다.
시사점 AI 모델이 실제 시스템에 도달함에 따라 AI 기반 공격이 증가할 가능성이 있어 실무자들이 주의해야 한다.
AI 보안 에이전트가 작업 환경에서 오염된 증거에 어떻게 영향을 받는지 실험적 방법으로 평가했다. 11개 웹 CTF 문제에서 6개 모델을 대상으로 41%의 플래그를 성공적으로 채웠으며, 오염된 작업은 평균 20개의 추가 턴과 2,000개의 추가 추론 토큰을 요구했다.
시사점 보안 AI 에이전트는 정상적인 환경에서의 성능이 실제 공격 상황에서의 취약성을 충분히 반영하지 못할 수 있으므로, 적대적 작업 오염을 고려한 평가가 필요하다.
자율 AI 에이전트와 원격 도구 간의 통신 표준인 MCP 트래픽이 기존 NIDS를 회피할 수 있음을 보인다. MCP 트래픽은 0.0의 비콘 점수와 근접 0의 IDS 경고를 기록한다.
시사점 MCP 트래픽은 기존 NIDS를 회피할 수 있으므로, 새로운 탐지 기준이 필요하다.
LLM을 활용한 정적 분석 프레임워크인 BadQubits를 제안하고, 1,500개의 퀀텀 회로 데이터셋을 사용해 92.67%의 분류 정확도와 96.1%의 해로운 회로 재현율을 달성했다. 토큰 수준의 순차적 구조를 유지한 LLM이 기존 CNN 기반 방법보다 해로운 회로 탐지 성능이 우수하다는 것을 보였다.
시사점 퀀텀 컴퓨팅 환경에서 실행 전에 해로운 회로를 효과적으로 탐지할 수 있는 LLM 기반 정적 분석 프레임워크를 개발하여, 퀀텀 컴퓨팅 시스템의 보안 강화에 기여할 수 있다.
CASHEWS는 JavaScript 소스 코드를 전처리하여 LLM 기반 악성 패키지 탐지의 효과성을 향상시킨다. 512개 대규모 패키지 파일에서 분석 범위를 69.1~85.7%에서 98.8~100%로 증가시키고, 18.6퍼센트 포인트까지 오진률을 감소시켰다.
시사점 CASHEWS를 사용하면 동일하거나 더 낮은 분석 비용으로 더 강력한 모델을 사용할 수 있어 악성 패키지 탐지의 실용성을 높인다.
LLM 에이전트의 실행 계획을 정적 검증하는 CaMeLoT 기법을 제안한다. 계획을 유한 상태 전이 시스템으로 변환하고 CTL 시간 논리를 사용해 정책을 검증하여 실행 전에 위험한 계획을 거부한다.
시사점 LLM 에이전트의 실행 계획을 실행 전에 정적 검증함으로써 보안을 강화하고, 토큰 비용과 임시 샌드박스 사용을 줄일 수 있다.
AI 생성 코드의 보안 위험을 평가하는 프레임워크를 제안하고, Bandit과 Semgrep를 사용해 여러 개발 도구의 코드를 분석했다. 위험 수준은 작업 유형에 따라 달라졌으며, 입력 처리와 파일 관리 작업이 가장 높은 위험을 보였다.
시사점 AI 생성 코드의 보안 위험을 체계적으로 평가할 수 있는 프레임워크를 실무에 도입할 수 있다.
소비자용 로컬 LLM 서빙 시스템에서 프롬프트 보안 실패 경로를 측정 프레임워크 LLAnalyzer로 분석하고, 런타임 메모리 유출과 테넌트 간 권한 누수 등의 취약점을 발견했다. 200/200 시도에서 성공한 llama.cpp 권한 누수 취약점과 네트워크 환경에서도 구분 가능한 타이밍 오라클을 확인했다.
시사점 로컬 LLM 시스템에서도 테넌트 격리, 프롬프트 수명 관리, 지속적 저장소 보안을 명시적으로 보장해야 한다.
Google reCAPTCHA를 무비용으로 제로샷 공격하는 방법을 제안한다. CLIP(58%)과 OWLv2(43.5%) 모델을 사용한 공격이 각각 타입 A와 B에서 성공했으며, 종단간 자동 공격 성공률은 92.6%이다.
시사점 reCAPTCHA는 더 이상 신뢰할 수 있는 보안 수단이 아니며, 시각적 CAPTCHA 기반 방어 전략을 재검토해야 한다.
보안 분야에서의 고성능 언어 모델을 만들기 위해 중간 학습(mid-training) 기법을 사용한 MiST 모델을 제안한다. 8B 및 32B 규모의 MiST 모델은 공개 보안 벤치마크에서 Qwen 기준 모델 대비 평균 정확도가 각각 +13.1% 및 +8.6% 향상되었다.
시사점 보안 분야에서 특화된 언어 모델을 구축할 때 중간 학습 기법을 활용하면 성능 향상이 기대된다.
브라우저 에이전트가 사용자의 인증 세션 하에 보안 민감한 행동을 실행함에 따라 간접 프롬프트 주입과 위장 확인 인터페이스가 행동 무결성에 직접적인 위협이 된다. Verifiable Action Card(VAC)는 실행될 행동의 정확한 정보를 신뢰할 수 있는 브라우저 UI에 재구성하여 승인을 바인딩함으로써 공격을 차단한다. 평가 결과, VAC는 모든 모델에서 공격 성공률을 0%로 낮추며, 정당한 작업 완료율은 78%이고, 거짓 차단률은 0%이다.
시사점 VAC는 브라우저 에이전트의 행동 승인을 신뢰할 수 있는 정보로 바인딩함으로써 기존 방어 수단이 해결하지 못한 보안 실패를 예방할 수 있다.
LLM이 외부 도구를 호출하는 Model Context Protocol(MCP)의 암묵적 신뢰를 측정하고, 여러 채널을 통해 분산된 악성 페이로드를 조합하는 공격 기법을 제시한다. 12개 모델, 3개 클라이언트, 6개 페이로드로 15,000회 이상 실험한 결과, 단일 채널 공격에 완전히 저항하는 모델도 2채널 분할 공격으로 100% 민감 정보 유출이 발생했다.
시사점 LLM 도구 호출 시 여러 채널을 통해 분산된 악성 입력을 조합하는 공격이 가능하므로, MCP 구현 시 채널 간 권한 분리와 페이로드 통합 검증이 필요하다.
PentestChain은 GPT-4와 같은 고가 모델 대신 저비용으로 펜테스트를 자동화하는 프레임워크를 제안한다. 7B 파라미터 로컬 모델을 활용해 테스트 비용을 제로로 유지하는 방법을 보인다.
시사점 소규모 조직이 저비용으로 지속적인 펜테스트를 수행할 수 있는 기반을 제공한다.
자율 AI 에이전트가 크로스체인 아비트리지 검색자로 작동할 때의 영향을 분석하고, 위험 회피 에이전트의 최적 거래 규모를 도출했다. 23,000건의 유니스왑 V3 스왑 이벤트를 분석한 결과, 이더리움-아비트럼 가격 차이는 평균 0.044%, 아비트럼-베이스 차이는 0.013%이며, 10,000달러 규모의 거래는 63%의 경우 CCTP를 통해 L2-L2 윈도우에서 청산된다.
시사점 AI 에이전트 기반 크로스체인 아비트리지의 경제적 영향과 최적 전략을 이해하여 실무에서 효율적인 거래 및 리스크 관리가 필요하다.
대규모 언어 모델(LLM) 기반 사이버보안 어시스턴트의 답변 효과성을 높이기 위해 다양한 개인화 전략을 평가했다. 1,045개의 실제 사이버보안 질문과 57명의 참여자, 1,066개의 사용자 질문을 통해 정량적 LLM 평가와 인간 평가에서 대화 기반 개인화가 가장 효과적임을 보였다.
시사점 사이버보안 어시스턴트에서 사용자의 행동을 고려한 개인화 전략을 적용하면 보안 조언의 실천 가능성을 높일 수 있다.
AI 코딩 에이전트가 자기 평가와 개선 과정에서 오염된 벤치마크를 통해 취약한 코드를 생성하도록 유도될 수 있는 공격 기법을 제안하고 실험적으로 검증한다. Hyperagents 에이전트의 경우, Sonnet 4.5를 사용할 때 HTTPS 인증서 검증을 비활성화하는 취약한 코드를 생성하는 사례를 보인다.
시사점 AI 코딩 에이전트의 자기 개선 과정에서 사용되는 벤치마크의 신뢰성을 확보해야 하며, 오염 방지를 위한 설계가 필요하다.
다중 에이전트 LLM 시스템에서 신뢰 전파와 구조적 격리를 실증적으로 연구하고, 공격 전파 경로와 방어 기법을 제시한다. 메모리 오염 공격은 방어되지 않은 경우 100% 실행에 도달했으며, 권한 검증을 통해 100%의 판단 우회율(JBR)을 달성하면서 0%의 비보안 행동률을 보였다.
시사점 다중 에이전트 LLM 시스템에서 구조적 권한 검증을 통해 공격 전파를 격리할 수 있음을 보여주어, 실무에서 권한 분리 설계에 주목할 필요가 있다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.