연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
개방형 가중치 툴 호출 에이전트에 숨겨진 백도어 공격인 SilentCall을 제시하고, 런타임 모니터링과 가중치 분포 감사 등을 통해 탐지하는 방법을 제안한다. SilentCall은 특정 조건에서 사용자 인증 정보를 유출하는 툴 호출을 실행하며, 이는 정량적으로 99.6%의 요청에서 발동된다.
시사점 개방형 가중치 에이전트를 사용할 때는 모델의 자체 진술보다 런타임 모니터링과 모델 감사를 통해 툴 접근을 보안 표면으로 다뤄야 한다.
이 연구는 IoT 네트워크에서 온라인 AutoML 시스템에 대한 회피 공격의 영향을 평가하고, 비용-효용 기반 적대적 훈련 방어 전략의 효과성을 분석했다. AT 버전의 LB와 SRP가 최고의 적대적 정확도(0.985)와 높은 정상 정확도(0.993)를 달성했다.
시사점 이 연구는 온라인 AutoML 시스템의 보안 강화를 위해 적대적 훈련 방식을 고려할 필요성을 제시한다.
지식 증류(KD) 과정에서 모델 도용을 방지하기 위해 하드웨어 기반의 물리적 복제 불가 함수(PUF)를 사용한 새로운 지문 프레임워크를 제안한다. 실험 결과, 이 프레임워크는 노이즈 조건에서도 높은 탐지 정확도를 유지하며, 일반적인 KD 후 수정에도 지문이 견고하다는 것을 보인다.
시사점 이 연구는 AI 모델 도용 시 추적성을 확보할 수 있는 실용적인 하드웨어 기반 기법을 제시하여, 분산된 AI 배포 환경에서 모델 보호에 기여할 수 있다.
TokenScanner는 텍스트-이미지 생성 모델의 LoRA에 숨겨진 백도어를 탐지하기 위해 토큰별 반응을 분석하는 방식을 제안한다. 840개의 백도어 LoRA와 840개의 양성 LoRA를 대상으로 한 실험에서 95.96% AUC와 96.55% TPR을 달성했다.
시사점 이 연구는 LoRA 모델 사용 전에 백도어를 사전에 탐지할 수 있는 실용적인 방법을 제공한다.
클라우드 기반 대형 언어 모델(LLM) 서비스의 암호화 트래픽에서 모델, 프롬프트, 작업 행동을 추론하는 트래픽 분석 공격을 대규모로 측정하고 벤치마크를 제시한다. 60,000개의 사용자-LLM 상호작용과 2,838개의 다중 에이전트 실행을 기반으로 모델 식별 정확도 97.7%, 프롬프트 범주 식별 정확도 76.7%, 다중 에이전트 작업 식별 정확도 90.7%를 달성한다.
시사점 클라우드 LLM 서비스의 암호화 트래픽에서도 모델 및 작업 정보가 유출될 수 있으므로, 트래픽 분석 공격에 대한 대응이 필요하다.
62개 벤더의 407개 시스템 프롬프트를 분석하여, 윤리적 진술보다 운영 콘텐츠가 우세하고, 58%는 도구/프로토콜, 5%는 안전 정책에 해당하며, 11:1의 비율로 도구 사용과 파일 안전이 해로운 콘텐츠보다 강조된다. 58%의 분류된 단어가 도구/프로토콜에 해당하고, 엄격한 규칙은 해로운 콘텐츠보다 도구 사용과 파일 안전을 11:1의 비율로 강조한다.
시사점 유출된 시스템 프롬프트는 운영 사양으로 간주되어야 하며, 재사용과 프롬프트 노후화는 공학적 및 공급망 문제로 다뤄져야 한다.
LLM 추론 비용 증가 문제를 해결하기 위해 비정준 토큰 생성을 통한 공격 기법인 FragToken을 제안한다. FragToken은 평균적으로 토큰 인플레이션 비율(TIR) 1.99~2.46을 달성하면서 모델 유틸리티의 소멸을 최소화한다.
시사점 이 연구는 LLM 공급망에서 추론 비용 증가를 유발하는 은밀한 공격 가능성을 제시하여, 모델 제공자들이 비용 증폭 공격에 대한 대응을 강화해야 함을 시사한다.
AI 에이전트의 보안 취약점을 탐지하고 공격을 생성하는 AgentXploit 시스템을 제안한다. AgentXploit은 72개 취약점을 포함한 AgentXploit-Bench 벤치마크에서 59.3%의 종단간 성공률을 달성했다.
시사점 AI 에이전트 개발자는 AgentXploit을 사용해 사전에 보안 취약점을 자동 감사하고 공격 시나리오를 확인할 수 있다.
소프트웨어 개발 전 과정을 보호하기 위해 블록체인을 기반으로 한 에이전트 AI 보안 프레임워크를 제안한다. 각 에이전트는 소스 인증, 의존성 분석, 아티팩트 검증 등을 수행하며, 블록체인에 암호화된 증명을 기록해 신뢰성을 확보한다.
시사점 이 프레임워크는 소프트웨어 공급망 보안을 강화하고, 에이전트 AI의 신뢰성을 블록체인을 통해 검증할 수 있는 새로운 접근법을 제시한다.
대규모 언어 모델 학습에서 클라이언트 간 중복 데이터가 효율성을 저하시키고 프라이버시 위험을 증가시키는 문제를 해결하기 위해, 훈련 중에 중복 제거를 수행하는 새로운 패러다임 'DwT'를 제안한다. 실험 평가에서 DwT-FL은 실패 복구와 동적 참여 시간 오버헤드를 각각 최대 93.04%와 94.18% 감소시켰다.
시사점 DwT는 동적이고 불안정한 연방 학습 환경에서 프라이버시 보호와 효율성을 동시에 달성할 수 있는 새로운 접근법이다.
강화학습을 사용한 결정 모델(RLCD)의 안정성을 측정하기 위한 새로운 적대적 벤치마크인 JevAdvBench를 제안하고, 9,744개의 단일 편집 변형 공격을 통해 실험한 결과를 보인다. Jev-1.13.0 모델에서 12.1%의 결정이 변경되고 38%의 신뢰도가 0.8 이하로 떨어졌다.
시사점 RLCD 모델 기반 애플리케이션은 입력 상태를 신뢰할 수 없는 것으로 취급하고 추가 검증이 필요하다.
AI 에이전트가 도구를 사용하는 권한을 제어하기 위해 MetaPermit이라는 새로운 프레임워크를 제안한다. MetaPermit은 도구 호출에 대한 권한을 결정할 때 사용자의 의도, 실행 컨텍스트, 제안된 도구 호출 간의 관계를 포착한 메타 속성을 도출하여 권한 결정의 일관성을 높이고, 기존 방식보다 31% 더 일관된 권한 결정을 보인다.
시사점 MetaPermit은 AI 에이전트의 도구 사용 권한을 보다 일관되고 확장성 있게 제어할 수 있는 새로운 접근 방식을 제공한다.
이미지의 픽셀 정보만으로 출처를 판단하는 패시브 프로벤언스 문제를 연구하고, 공격자가 이미지를 편집하는 상황에서의 최적한계를 수학적으로 도출했다. 실험에서 공개된 CLIP 검증기는 특정 픽셀 공격에 실패했으며, ResNet-18은 부분적 전이가 가능하다는 것을 보였다.
시사점 이미지 검증 시스템의 안정성을 평가할 때 통계적 한계와 공개 정보의 영향을 별도로 평가해야 한다.
FeatMark는 디퓨전 모델을 대상으로 한 모방 공격에 대응하기 위해 픽셀 수준의 수표가 아닌 의미적 특징을 활용한 새로운 수표 프레임워크를 제안한다. 실험 결과, FeatMark는 평가된 모든 공격을 견디며, 수표 탐지 정확도와 신뢰성을 유지한다.
시사점 FeatMark는 디퓨전 모델 기반 이미지 생성물의 위조 탐지를 강화할 수 있는 새로운 수표 기법으로, 모방 공격에 대한 방어 전략을 제공한다.
기계 언러닝은 특정 정보의 영향을 제거하면서 다른 능력을 유지하는 것을 목표로 한다. 서베이를 통해 다양한 방법, 벤치마크, 증거를 비교 분석하고, 제거 요청, 시스템 경계, 타겟 위치, 개입, 주장 등을 다층적 프레임워크로 연결하였다.
시사점 기계 언러닝 연구는 특정 데이터의 영향을 효과적으로 제거하는 방법을 개선하는 데 기여할 수 있다.
LLM 에이전트가 일반적인 작업을 통해 해를 끼칠 수 있으므로 권한과 데이터 기원을 확인하는 AGATE 방어 기법을 제안한다. 153개 공격 체인 기록과 63개 시나리오에서 252회 실행한 평가를 통해 63개 시나리오에서 재생이 실시간 그래프 투영과 일치하는 것을 보였다.
시사점 AGATE를 통해 LLM 에이전트의 조합 공격을 방어할 수 있으며, 기원 기반 정책의 실용성을 입증했다.
프롬프트 인젝션 공격으로 인해 자율 에이전트의 신뢰성이 위협받는 문제를 해결하기 위해, OAuth Agent Authorization Profile과 W3C DID 및 VC 표준을 활용한 암호화 기반 보안 프레임워크를 제안한다. 에이전트가 서비스에 접근할 때 토큰이 에이전트와 발급자의 신원에 암호화되어 연결되고 범위를 지정하여 보안 경계 내에서 작동할 수 있도록 한다.
시사점 이 연구는 자율 에이전트의 보안을 강화하기 위한 표준화된 프레임워크를 제시하여, 기업이 에이전트 기반 시스템을 안전하게 구현할 수 있도록 지원한다.
Ethereum Virtual Machine(EVM) 내부에서 직접적인 인퍼런스가 불가능한 문제를 해결하기 위해, Werracle이라는 새로운 on-chain AI decision oracle을 제안한다. Werracle은 단일 32바이트 EVM 저장소 슬롯에 맞춰 설계되어, 21,438 가스로 16점 파레토 마이크로 그리드를 평가하며, 실시간 DeFi 효과성을 Uniswap v4 동적 스왑 수수료 관리자인 WerracleFeeHook.sol을 통해 보여준다.
시사점 Werracle은 EVM 스마트 계약에서 저비용으로 실시간 AI 결정을 가능하게 하여, DeFi 환경에서의 공격을 효과적으로 방지할 수 있다.
이 연구는 대형 언어 모델 기반 이메일 에이전트에서 프롬프트 인젝션(prompt injection) 공격을 탐지하기 위해 공격 체인 모델링을 제안한다. 제안된 프레임워크는 텍스트 탐지기, 각 단계별 검증기, 명시적 규칙 기반 위험 신호, 사용자 의도와 행동 일관성 분석, 로지스틱 결정 정책을 결합하여 평균 F1 점수 0.406을 달성한다.
시사점 이 연구는 이메일 에이전트에서 프롬트 인젝션 공격을 탐지하는 새로운 프레임워크를 제시하여, 기존 탐지 방법보다 더 높은 성능을 보인다.
에이전트 언어 모델(agentic LLM) 환경에서 발생하는 '작성권 위험(authorship hazard)'이라는 새로운 보안 문제를 제시하고, 이를 해결하기 위한 원칙과 모델을 제안한다. 80개의 권한 결정이 승인 없이 반전되고, 7개의 경우 값이 노출되는 실험 결과를 보인다.
시사점 에이전트 언어 모델에서 주체와 작성권을 분리하는 원칙을 적용하여 보안 정책을 설계해야 한다.
클라우드 보안 조사에서 일반 코드 에이전트와 특화된 보안 브레인을 비교했다. Sola 보안 브레인은 0.693 커버리지로 Claude Code보다 79.2% 높은 성능을 보였다.
시사점 실무에서는 특화된 보안 브레인을 도입해 클라우드 보안 조사 효율성을 높이는 방안을 고려해야 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.