연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
대규모 언어 모델의 배포 후 변경 사항을 감지하기 위해 zk-SNARK 기반의 프라이버시 보호 감사 프레임워크를 제안한다. 토큰 기반 프로브가 블랙박스 환경에서 모델과 GPU 플랫폼을 가리지 않고 가장 높은 평균 감도를 보이며, 50개까지 확장해도 증명 시간은 1.78초, 검증 시간은 0.84초에 머무른다.
시사점 이 연구는 모델 배포 후 변경 사항을 비침투적으로 감지할 수 있는 프레임워크를 제시하여, AI 모델의 거버넌스와 보안을 강화할 수 있다.
LLM 에이전트의 런타임 컨텍스트를 유출하는 새로운 공격 기법인 ContextLeak을 제안한다. 강화 학습을 활용해 악성 도구의 이름과 설명을 생성하여 에이전트가 해당 도구를 선택하고 컨텍스트를 입력 인수로 전달하도록 유도한다.
시사점 LLM 에이전트가 악성 도구를 선택할 때 런타임 컨텍스트가 유출될 수 있으므로, 도구 선택 과정에서의 보안 검증이 필요하다.
기존 의미 수표는 문장 의미에 묶어 토큰 선택보다 견고하지만, 공격자가 텍스트를 다시 표현하거나 재정렬하면 탐지가 실패한다. 이를 해결하기 위해 EDA 공격과 k-SwordStamp 방어 기법을 제안한다.
시사점 이 연구는 의미 수표 기반 보안 기법의 취약점을 분석하고, 공격에 더 강한 방어 기법을 제시하여 실무에서의 적용 가능성을 제고한다.
시각-언어 모델(VLM)의 보안 취약점을 분석하기 위해 메타적응형 다중모달 탈옥 공격(MAMJ) 기법을 제안한다. MAMJ는 공격 전략 프롬프트(ASP)와 공격 효과성을 결정하는 가중치(φ)를 최적화하여, 기존 공격 기법보다 높은 공격 성공률(ASR)을 달성한다.
시사점 이 연구는 대규모 시각-언어 모델이 메타적응형 공격에 취약하다는 것을 보여주어, 해당 분야의 방어 기법 개발을 촉진시킬 수 있다.
LLM이 제한 해제 공격에 어떻게 반응하는지 기계적 해석을 통해 분석하고, 특정 회로를 제거하여 공격 성공률을 최대 80%까지 줄였다. 80%까지 공격 성공률 감소.
시사점 LLM의 제한 해제 공격을 감지하고 방어하는 데 회로 탐지 기법을 활용할 수 있다.
LLM 에이전트가 공격자의 지시를 따라 해로운 도구를 실행하는 간접 프롬프트 인젝션 공격을 방어하기 위해, 사용자로부터 유래한 값만이 상태 변경 도구에 도달할 수 있도록 하는 ROPE 방식을 제안한다. ROPE는 민감한 도구 매개변수에 대한 결정론적 원본 검사를 통해 공격 성공률을 1.6-2.6%로 유지하면서 82-100%의 정상 기능을 보존한다.
시사점 ROPE는 LLM 에이전트의 도구 실행을 보호하는 구조적 접근법으로, 실무에서 프롬프트 인젝션 공격에 대한 방어를 강화할 수 있다.
TaintedPixels는 딥페이크 영상에 대한 프로액티브 보호 방법으로, 얼굴 영역의 파란 채널에 구조화된 주기적 편차를 주입하여 조작이 이루어졌는지 시각적으로 확인할 수 있도록 한다. 3개의 공개 딥페이크 생성 도구와 2개의 디텍터를 통해 TaintedPixels는 가장 높은 위조 감지율을 보이며, 편차가 작게 유지되었다(LPIPS = 0.0042).
시사점 TaintedPixels는 딥페이크 영상의 조작 여부를 시각적으로 확인할 수 있는 프로액티브 방어 기법으로, 실무에서 딥페이크 탐지 시스템에 활용될 수 있다.
LLM의 안전성 회피 메커니즘을 분석하기 위해 퍼트urbation 프로빙이라는 새로운 진단 방법을 제안한다. Qwen3-4B 모델에서 50개의 신경망이 80%의 해로운 요청을 거부하는 안전 템플릿을 제어하는 것을 확인했다.
시사점 이 진단 방법은 LLM의 안전성 회피 가능성과 취약성을 측정하여, 보안팀이 모델을 비교하고 개선할 수 있도록 지원한다.
LLM 기반 에이전트의 탈옥 공격을 자동화하기 위해 경험을 기반으로 기술이 진화하는 레드팀 에이전트 RedEvoAgent를 제안한다. 여러 벤치마크와 대상 모델에서 기존 고정 및 에이전트 기반 기준보다 우수한 성능을 보이며 도구 효율성을 향상시켰다.
시사점 RedEvoAgent는 LLM 기반 시스템의 보안 검증에 있어 더 효과적인 자동 레드팀 전략을 제공할 수 있다.
Pickle과 PyTorch 기반 모델 아티팩트에서 ModelScan, ModelAudit, Fickling의 보안 판단 성능을 평가했다. 135개 라벨링된 가족 중 ModelAudit은 100%, Fickling은 81.5%, ModelScan은 49.6%에서 확정적 보안 판단을 내렸다.
시사점 보안 스캐너의 판단 정확도와 판단 가능성을 구분하여 종합적으로 평가해야 한다.
LLM 에이전트 허네스에서 낮은 수준의 악성 콘텐츠를 높은 권한으로 승격시켜 모델 행동을 조작하는 공격 기법을 제안한다. 6개의 코드 에이전트 허네스에서 13개의 공격 목표를 달성하는 실험을 통해 이 공격의 일반성을 보인다.
시사점 이 연구는 LLM 에이전트 허네스의 권한 관리 메커니즘을 재검토하고, 낮은 수준의 입력이 높은 권한으로 승격되는 것을 방지하는 방어 전략을 개발할 필요성을 시사한다.
기존 백도어 공격은 높은 공격 성공률(ASR)을 가정하지만, 저자들은 ASR을 의도적으로 낮추어 방어를 회피할 수 있음을 보인다. 실험을 통해 최신 방어 기법이 저ASR 조건에서 실패함을 확인하였다.
시사점 이 연구는 기존 백도어 방어 기법의 한계를 드러내어, ASR 기반의 평가 체계를 재검토할 필요성을 제시한다.
지속적 LLM 에이전트의 보안을 강화하기 위해 SPA라는 새로운 아키텍처를 제안한다. SPA는 정보 흐름 제어를 적용하여 'tool_knowledge' 공격에서 공격 성공률을 0%와 0.2%로 줄였다.
시사점 지속적 LLM 에이전트를 사용하는 시스템에서는 SPA와 같은 정보 흐름 제어를 도입해 지속성과 보안의 균형을 유지해야 한다.
웹 트래픽에서 이상을 탐지하기 위해 Transformer 기반 언어 모델을 활용하고, 탐지된 이상에 대한 상세한 설명을 제공하는 방법을 제안한다. 인기 있는 공개 데이터셋에서 라벨링 불일치를 발견함으로써 제안된 설명 기법의 효과성을 보인다.
시사점 Transformer 기반 모델을 사용한 웹 이상 탐지 시스템에 설명 기능을 추가하면 데이터 오염 문제를 식별하는 데 도움이 될 수 있다.
자율적 대규모 언어 모델 에이전트의 안전성 보장 방법을 연구하고, 루프 수준에서 지속적인 비감소 안전 상태를 복원하는 LoopHarness를 제안한다. LoopHarness는 매개변수 조건 하에서 비인가된 실행 불가능한 작업 수를 상수로 제한한다.
시사점 LoopHarness를 통해 자율적 LLM 에이전트의 안전성을 지속적으로 보장할 수 있다.
LLM 에이전트가 공격자 제어 웹 콘텐츠를 읽는 동안 비밀 정보를 유출할 수 있는 간접 프롬프트 인젝션 공격을 분석하고, 공격 기법과 방어 방법을 제시한다. gpt-4o 모델에서 0%에서 100%까지의 유출률을 보이며, 템플릿 기반 공격이 효과적임을 실험적으로 보인다.
시사점 LLM 에이전트의 보안 설계 시 표면적인 정책 조항보다는 목적지 제한 또는 능력 격리를 통한 방어가 필요하다.
이 연구는 사이버와 전자기 전파 영역에서의 이상을 동시에 탐지하기 위해 두 가지 모델을 개발하고 평가했다. 랜덤 포레스트 모델은 F1-score 89.76%, LSTM-Autoencoder 모델은 64.09%를 달성했다.
시사점 실무에서는 사이버 및 전자기 전파 신호를 결합한 이상 탐지 모델을 도입해 운영 상황 인식을 강화해야 한다.
LLM이 실행하기 전에 각 행동을 승인하거나 거부하는 에이전트 가드레일의 과도한 안전성 문제를 분석하고, 이를 평가할 수 있는 새로운 벤치마크인 Cautious Bench를 제안한다. Cautious Bench는 756개의 결정 가능한 양호/이중 쌍과 40개의 결정 불가능한 쌍을 포함하며, 5개 디자인에서 6개의 가드레일을 평가하여 '이름 숭배 효과'를 발견했다.
시사점 이 연구는 에이전트 가드레일의 과도한 거부 현상을 평가할 수 있는 벤치마크를 제공하여, AI 보안 시스템의 정확한 설계에 기여할 수 있다.
자동화된 LLM 에이전트가 네트워크 접근 가능한 PLC를 지속적인 물리적 영향으로 전환할 수 있는지 평가하기 위해 PLCBENCH라는 새로운 하드웨어-인-더-루프(HIL) 프레임워크를 제안한다. 4개의 상용 PLC와 4개의 폐루프 작업 환경에서 5개의 LLM 가족을 대상으로 240회 실험한 결과, 31.3%의 에피소드가 각각의 물리적 목표를 지속적으로 달성했다.
시사점 이 연구는 자동화된 LLM 에이전트가 ICS에 물리적 영향을 미칠 수 있는 잠재력을 평가하는 데 도움이 되며, PLC-프로세스 배포에서 실패 원인을 특정하고 미래 방어 평가의 개입 지점을 식별할 수 있다.
5G 네트워크 침입 탐지에서 전통적 머신러닝 모델(XGBoost, TabNet)과 대형 언어 모델(LLM)의 탐지 성능과 계산 비용을 비교했다. 전통적 모델은 높은 정확도와 낮은 추론 시간을 보였으며, LLM은 성능이 낮고 CPU 사용량이 훨씬 높았다.
시사점 5G 네트워크 침입 탐지에는 복잡한 모델보다 전통적 머신러ting 모델이 더 효율적이다.
이 연구는 블랙박스 작업 상호작용을 통해 숨겨진 에이전트 스킬을 유출하는 새로운 공격 기법인 Daydreaming을 제안한다. Daydreaming은 7개 스킬과 4개 피해 모델에서 원래 스킬의 86.8% 기능을 복구하는 데 성공했으며, SigLeak보다 약 4배 우수한 성능을 보였다.
시사점 이 연구는 기존 방어만으로는 에이전트 스킬의 기능적 복구를 막을 수 없음을 보여주어, 보다 강력한 보호 전략이 필요하다는 시사점을 제공한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.