연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
연구진은 프롬프트 인젝션 공격의 공격 공간을 공격이 모델을 속이는 방식에 따라 분류한 PIAtlas라는 분류 체계를 제시하였다. 또한, 대규모 공개 프롬프트 인젝션 데이터셋인 PICorpus를 공개하고 이를 PIAtlas에 매핑하여 기존 공격 연구의 격차를 드러냈다.
시사점 PIAtlas는 프롬프트 인젝션 공격 공간을 이해하고 벤치마크를 개선하며 레드팀 및 방어 전략을 수립하는 데 공통 기반을 제공한다.
본 연구는 명시적 동등성 규칙 하에서 데이터 표현이 동등함을 나타내는 직렬화 불변 식별 방법을 제안하고 DataFacts를 사례 연구로 사용했다. 이 방법은 동등한 재인코딩 시 기존 대비 기대 결과율을 80.4%p, 체크섬 기준 대비 70.2%p 향상시켰으며, 변형된 콘텐츠에 대한 거부 증거를 체크섬 대비 3.5%p 높였다.
시사점 에이전트 네트워크에서 데이터의 본질적 동등성을 검증할 때, 데이터의 물리적 표현 방식(바이트)이 아닌 논리적 동등성에 기반한 식별 메커니즘이 유용하다.
본 연구는 LLM 기반 코드 생성 시 발생하는 보안 취약점을 해결하기 위해, 개별 CWE 취약점 대신 보안 범주를 활용하는 CAT-RAG 프레임워크를 제안했다. 이 프레임워크는 기존 대비 안전한 코드 생성 개선율을 높이고 토큰 오버헤드를 줄이는 결과를 보였다.
시사점 LLM 기반 코드 생성 시, 세부적인 취약점 레벨 대신 상위 수준의 보안 범주를 활용하여 검색 증강을 수행하는 것이 효율적이다.
연구진은 공격자와 방어자 모두를 공동으로 훈련시키는 Peer Pressure (PRPO) 프레임워크를 구축하여, 실행 결과를 바탕으로 각 개체의 패치 적용 여부와 취약점 재현 여부를 평가했습니다. 이 방법론은 훈련되지 않은 네 가지 애플리케이션에서 64.8%의 균형 정확도를 달성했으며, 특정 시나리오에서 기존 방법 대비 우수한 성능을 보였습니다.
시사점 LLM 기반 코드 보안에서 공격자와 방어자의 상호 진화적 검증은 높은 수준의 탐지 및 방어 능력을 갖춘 새로운 접근법을 제공한다.
연구진은 탈옥 성공률을 평가하는 데 사용되는 평가자 모델을 고정하고, 평가자 자체를 변화시키면서 그 편향을 분석했다. 그 결과, 특정 평가자들은 준수 응답을 회피(evasion) 클래스로 분류하는 경향을 보였으며, 평가자에 따라 준수율이 최대 22배에서 25배까지 차이 나는 것을 발견했다.
시사점 LLM의 탈옥 성공률을 보고할 때는 평가자 모델의 종류와 각 클래스별 레이블 수를 함께 보고하여 평가 결과의 신뢰성을 확보해야 한다.
연구진은 RAG 시스템의 오염 공격이 증거 임베딩 기하학에 흔적을 남긴다는 점에 착안하여, 공격 레이블이나 정답 없이도 이 구조적 특징을 감사하는 CoordGuard를 개발했다. 이 방법은 공격 성공률을 전반적으로 0.167까지 낮추는 결과를 보였다.
시사점 RAG 시스템의 오염 탐지는 진실 여부를 판단하기보다 검색된 증거의 구조를 감사하는 방향으로 전환되어야 한다.
본 연구는 증거가 불충분할 때 결정을 유보할 수 있는 차량 측 이벤트 결정 프레임워크인 CREST를 제안하며, 이는 송신자의 신뢰도, 근접성, 신선도를 가중치로 사용하여 결합한다. 시뮬레이션에서 CREST는 두 가지 기존 신뢰 기반 전파 시스템의 결정 오류를 각각 0.162 및 0.106에서 0.051로 감소시켰다.
시사점 이 프레임워크는 이벤트 검증 시 모든 결정을 이진적으로 내리지 않고 증거의 불확실성을 반영하여 오류를 줄이는 데 기여한다.
본 연구는 프롬프트에 심어진 트로이 목마(Trojan)가 활성화될 때 응답 길이를 늘려 사용자에게 비용을 발생시키는 데이터 오염 공격을 고안했다. 이 공격은 명령어 미세 조정된 LLM에 대해서도 의미적으로 유사한 지시로 트리거링 될 수 있음을 시연했다.
시사점 LLM 사용 시 토큰 기반 비용 구조를 악용한 새로운 형태의 데이터 오염 공격에 대비한 방어 기법을 고려해야 한다.
본 연구는 자원 제약적인 마이크로컨트롤러 유닛(MCU)에 탑재 가능한 TinyML을 활용하여 심전도(ECG) 기반의 연속 인증 프레임워크를 제안했다. 다양한 데이터베이스를 사용한 실험 결과, DNN, 1D CNN, 2D CNN 모델을 통해 98%의 정확도를 달성했다.
시사점 ECG 기반 인증은 웨어러블 및 엣지 장치에서 보안적이고 실시간으로 개인을 식별할 수 있는 잠재력을 보여준다.
본 연구는 자율 사이버 방어(ACD) 에이전트의 실행 시점 거버넌스 프레임워크인 SecODD를 제안하며, 이는 자율 차량 규제에서 운영 설계 영역 개념을 차용하여 자동화된 방어 조치의 승인 범위를 정의한다. 이 프레임워크는 감사 가능한 주의 의무 조건을 명시하고, 공격 실패 모드를 통과/실패 감사 결과로 변환하는 것을 포함한다.
시사점 ACD 시스템을 도입할 경우, 자동화된 조치가 경계 지어져 있고, 중단 가능하며, 복구 가능하고, 증거로부터 재구성 가능할 때만 권한을 부여해야 한다.
연구진은 Huntr 및 HackerOne에서 공개된 4,281건의 보고서 중 240건을 대상으로 8개 LLM을 평가하여, 최적의 프롬프팅 설정으로도 정확도는 49.58%에 불과함을 확인했다. 또한, 모델들은 심각도를 과대평가하는 경향이 있으며, 이는 보고서의 잠재적 영향과 실제화된 영향 간의 괴리에서 비롯된다.
시사점 LLM을 활용하여 버그 바운티 보고서의 CVSS 심각도를 자동화할 경우, 현재 기술 수준으로는 심각한 오류가 발생하므로 신중한 검토가 필요하다.
연구진은 잠복 독성 공격이 본질적으로 안전한 행동을 전제로 하므로, 이 특성을 이용하여 공격 의도를 제거하는 'Safety Buffer'를 구축하고, 이를 개선한 'LookAhead Defense'를 제안하였다. 이 방어 기법은 언어 및 멀티모달 에이전트에서 최대 93.9%의 유해 행동을 14.2% 이하로 줄이는 효과를 보였다.
시사점 LLM 기반 에이전트의 미세 조정(fine-tuning) 과정에서 잠복 독성 공격의 영향을 줄이기 위해, 안전 행동을 예측하고 이에 기반하여 업데이트를 평가하는 방어 기법을 고려해야 한다.
본 연구는 완전한 기록에는 민감한 관계가 포함되어 있으나 개별 세션으로는 알 수 없는 상황을 시뮬레이션하는 MemJoin이라는 프라이버시 벤치마크를 소개했다. 이 연구는 속성 가시성만으로는 여러 세션 기록이 함께 드러내는 정보를 평가하기에 불충분함을 보여주었다.
시사점 에이전트의 기억 시스템을 평가할 때는 개별 세션의 속성 가시성뿐만 아니라 여러 세션의 정보가 결합될 때 발생하는 총체적 관계까지 고려해야 한다.
본 연구는 AI 에이전트의 실행 중 발생하는 측정 가능한 위험을 추적하고, 이를 바탕으로 정량적 제약을 적용하는 RATION이라는 보안 프레임워크를 제안했다. 이 프레임워크는 네 가지 보안 벤치마크에서 다양한 모델과 환경 전반에 걸쳐 높은 작업 유틸리티를 유지하면서도 강력한 보안을 제공함을 실험을 통해 보여주었다.
시사점 AI 에이전트의 보안을 위해 행동 제한 대신 실행 중 발생하는 위험을 정량적으로 관리하는 접근 방식이 필요하다.
연구진은 실제 거래소 및 개발자가 배포한 옵션 거래 에이전트 26개를 대상으로 7가지 견고성 및 11가지 보안 안전장치를 평가했다. 이 중 13개 시스템은 인간의 개입 없이 실행 가능했으며, 6개의 거래소 인터페이스를 포함하여 13개가 무제한 손실에 도달할 수 있었다.
시사점 옵션 에이전트의 입력값 작성자가 주문의 주요 변수를 조작할 수 있으므로, 주문 경계에서 손실 제한을 적용해야 한다.
본 연구는 TEE를 활용한 롤업 시퀀서의 단일체(monolithic) 및 프로포저-빌더 분리(PBS) 모델에 대해 경험적 평가를 수행했다. 실험 결과, TEE가 롤업 성능에 미치는 영향은 작았으며, PBS는 특정 빌더 로직 구현을 통해 상당한 성능 향상을 가져올 수 있음을 보였다.
시사점 롤업 시퀀서의 보안 강화를 위해 TEE를 고려할 때, PBS 구조는 성능 개선의 잠재력을 제공한다.
본 연구는 브라우저 에이전트가 가지는 유연성이 프롬프트 인젝션 및 데이터 유출에 취약함을 지적하며, 기존의 동일 출처 정책(SOP)으로는 이를 해결하기 어렵다고 주장한다. 이에 정보 흐름 제어(Information-Flow Control)를 통해 브라우저의 기본 동작에 레이블링을 적용하고 SPIDES를 구현하여 공격 성공률 0%를 달성했다.
시사점 정보 흐름 제어는 브라우저 에이전트의 자율성을 유지하면서도 프롬프트 인젝션 및 데이터 유출 공격에 대응할 수 있는 효과적인 보안 확장 기법을 제공한다.
본 연구는 공격 변종에 대응하기 위해 공격 실행 명령어를 시맨틱 정렬하여 컨텍스트를 갖춘 검색 증강 생성(RAG) 파이프라인을 활용하는 ARMS를 제안했다. ARMS는 검증된 공개 SigmaHQ 규칙을 사용하여 변종 규칙을 성공적으로 생성했으며, 생성된 규칙 대부분이 원본 행위를 탐지함을 보였다.
시사점 탐지 규칙의 적용 범위를 넓히기 위해 공격 실행 명령어와 같은 구조적 정보를 활용하여 규칙을 자동 변이시키는 접근 방식이 유효하다.
본 연구는 공격 및 정상 데이터를 별도 녹화본으로 수집하여 평가하는 기존 방식의 한계를 지적하고, 동일 녹화본을 사용하여 공격 구간과 배경을 비교하는 녹화본 인지적 평가 절차를 제안했다. ProvICS 멀티모달 데이터셋에 적용한 결과, 동일 녹화본 평가 시 물리적 뷰가 가장 강력한 단일 모달리티로 나타났으며, 사이버 전용 융합은 AUC 0.54에 도달했다.
시사점 교차 녹화본 기반의 벤치마크 성능은 반드시 동일 녹화본, 순방향, 시간적, 운영적 평가와 함께 해석되어야 한다.
본 연구는 이미 백도어가 주입된 모달리티에서 시작하여 다른 모달리티에 대응하는 트리거를 구성함으로써 MLLM을 대상으로 하는 크로스모달 공격 프레임워크를 소개한다. 이 접근법은 LLaVA, InternVL, Qwen-VL, Gemma 등 최신 MLLM에 대해 기존 공격보다 효율적이고 효과적이며 탐지되지 않는 트리거를 식별함을 실험적으로 입증했다.
시사점 멀티모달 시스템의 잠재적 취약점으로 크로스모달 백도어 공격 벡터가 존재하므로 이에 대한 방어적 관찰이 필요하다.
연구진은 도구 사용 에이전트의 가드 검증을 위해 실제 실행 환경을 시뮬레이션하는 ToolRosetta를 도입하여 다양한 가드들을 평가했다. 그 결과, 일부 전문 가드들은 셸 명령 형태로 변환되었을 때 오탐률(false-positive rates)이 크게 증가하거나, 가드에 포함된 추론 과정(rationale)이 의도 파악에 중요한 역할을 함을 발견했다.
시사점 에이전트의 가드 검증은 단순히 JSON 호출 형태만으로는 실제 실행 환경에서의 안정성을 예측하기 어렵다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.