연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
연방 학습에서 중앙 파라미터 서버를 우회하는 새로운 공격 기법을 제안하고, 이에 대응하는 탐지 및 복구 메커니즘을 제시한다. Fed-ADR 공격은 전역 모델 정확도를 90% 이상에서 10% 이하로 낮추는 반면, 제안된 방어 기법은 몇 라운드 내 정확도를 90% 이상으로 복구한다.
시사점 이 연구는 연방 학습 환경에서 동적 공격을 탐지하고 복구하는 실용적인 방안을 제시하여, 분산 학습 시스템의 보안 강화에 기여할 수 있다.
스마트 계약의 복잡성과 금전적 가치가 증가함에 따라, 이 연구는 Solidity로 작성된 코드 조각의 취약점 탐지를 위한 트랜스포머 기반 접근법을 제시한다. BERT 기반 아키텍처를 미세 조정한 모델은 F1 점수 92%를 달성하여, LLM 적응이 스마트 계약 보안을 향상시키는 데 효과적임을 보인다.
시사점 이 연구는 LLM을 활용한 스마트 계약 보안 강화 방법을 제시하여, 블록체인 개발자와 보안 전문가가 취약점 탐지를 위한 새로운 도구로 활용할 수 있다.
기존 중독 공격이 유사한 문서에 동일한 주장 반복으로 패턴을 만들지만, 이를 방어하는 시스템이 억제할 수 있다. DnD는 타겟 답변을 다양한 스타일의 문서에 분산시키고, 참조 답변의 증거를 의심시키는 문서를 포함해 방어를 우회하는 공격 기법이다.
시사점 이 연구는 RAG 기반 시스템의 방어 전략을 우회할 수 있는 새로운 중독 공격 기법을 제시하여, RAG 시스템의 보안 설계에 주의가 필요하다.
Ajar는 기존 에이전트 보안 벤치마크를 활용하여 방어 기법이 얼마나 많은 권한을 열어두는지 직접 측정하는 방법을 제안한다. AgentDojo 벤치마크에 적용한 결과, 5가지 방어 기법이 각기 다른 수준의 열린 권한을 보였다.
시사점 이 연구는 기존 보안 평가 지표 외에 열린 권한을 추가적으로 측정해야 함을 시사한다.
연구팀은 LLM의 암호 해독 능력을 평가하는 다단계 벤치마크 ACTS를 제안하고, 메타데이터 제거 수준에 따른 정확도 차이를 실험적으로 보여준다. 블라인드 조건(Tier-3)에서 30.8%의 정확도를 기록했으며, 이는 14.3%의 무작위 기준보다 약간 높았다.
시사점 이 연구는 LLM이 암호문만으로 암호 식별에 어려움을 겪는다는 점을 실증해, 보안 설계 시 메타데이터 보호의 중요성을 강조한다.
HTTP 요청 이상 탐지를 위해 Word2Vec, FastText, Doc2Vec 정적 임베딩 모델을 비교 평가하고, HEDA라는 탐지 아키텍처를 제안했다. FastText 기반 임베딩이 모든 데이터셋에서 일관된 높은 탐지률을 보이며, 거짓 긍정률을 통제하는 데 성공했다.
시사점 실무에서는 FastText 기반 정적 임베딩을 HTTP 이상 탐지에 적용해 탐지 성능과 거짓 긍정률 균형을 고려할 수 있다.
이 연구는 비디오 질문 답변(VQA) 시스템에서 연쇄적 사고(CoT) 플래너를 위한 연방 학습 및 언러닝 프레임워크인 FedCoT-VQA를 제안한다. FedCoT-VQA는 연방 학습 효율성과 언러닝 효과를 동시에 담보하면서, 학습 정확도를 4.45%까지 향상시키고, 언러닝 후 정확도 저하를 7.38%로 억제하는 것을 보인다.
시사점 이 연구는 분산 환경에서 비디오 QA 시스템의 사생활 보호와 모델 효율성을 동시에 달성할 수 있는 연방 학습 및 언러닝 프레임워크를 제시한다.
MCP 프로토콜을 사용하는 에이전트는 세마틱 매칭을 통해 서드파티 서버의 도구를 선택하므로 공격자가 제어하는 메타데이터와 출력을 통해 공급망 리스크가 발생한다. A2M이라는 두 단계의 블랙박스 프레임워크를 제안하여 MCP 에이전트를 해킹한다. GLM-4.6에서 최적화 및 평가한 직접 공격은 4가지 시나리오에서 악성 도구 호출률 93.6%의 매크로 평균을 달성하고, 인지 서비스 거부(Cognitive Denial of Service)에서 무해한 기준선 대비 토큰 비용을 32.4배 증가시키며, 정보 유출, 환경 무결성 침해, 추론 방해에서 평균 공격 성공률 74.4%를 달성한다. 4가지 다른 모델로 전이하지 않고 재최적화 없이 각각 63.6%, 2.7배, 24.5%의 매크로 평균을 달성한다.
시사점 MCP 기반 에이전트 시스템에서 도구 검증과 런타임 격리를 강화해야 한다.
GenAI 애플리케이션에서 정책 집행을 체계적으로 분석하고 기존 접근법을 해부하여 정책 정의 및 집행을 위한 권장사항을 제시한다. 정량 결과는 원문 참조.
시사점 이 연구는 GenAI 애플리케이션의 보안 및 규정 준수를 위해 정책 집행 프레임워크를 제안하여 실무에서 정책 일관성을 확보하는 데 도움이 된다.
AI 기반 펜테스팅 프레임워크 Rouxii를 제안하고, 사기 인식 기능을 통해 허니팟을 탐지하고 악용하는 방식을 평가했다. 사기 인식 기능이 허니팟 식별 정확도를 19%에서 97%로 높였으며, 실제 서비스에 대한 오경보율은 0.7%에 머물렀다.
시사점 AI 펜테스터가 허니팟을 효과적으로 탐지하고 악용할 수 있으므로, 허니팟의 AI 공격 저항성을 평가할 때 공격자의 사기 인식 능력을 고려해야 한다.
교육 정보 시스템을 위한 경보 후 사건 조정 및 대응 서브시스템을 설계하고 평가했다. 규칙 엔진과 로컬 대형 언어 모델을 활용해 기능적 정확성과 제어된 복구를 보였다. 30개 경계 사례에서 100% 일치했고, 평균 처리 시간은 약 33초였다.
시사점 이 연구는 보안 이벤트 대응 시스템 설계에 규칙 엔진과 로컬 LLM을 결합하는 방법을 제시한다.
이동성 분야에서 LLM의 보안 및 프라이버시 문제를 조사하고, 현재 연구와 실제 적용에서의 주요 간극을 분석했다. 35개 연구를 검토한 결과, 보안 및 프라이버시 평가가 거의 이루어지지 않았으며, AI Act 규정 준수도 제한적임을 밝혀냈다.
시사점 이동성 분야에서 LLM을 적용할 때 보안 및 프라이버시를 설계 단계부터 고려해야 한다.
코드 인텔리전스 작업에서 사용되는 딥러닝 코드 모델(DCM)의 블랙박스 적대적 공격 기법인 Strike를 제안한다. 코드 복제 탐지, 취약점 탐지, 코드 요약 작업에서 공격 성공률이 높고, 생성된 변형 코드는 원본과 유사하며 자연스럽다.
시사점 코드 인텔리전스 시스템의 보안성을 평가할 때 적대적 공격 기법을 고려해야 하며, Strike를 사용해 모델의 취약점을 확인할 수 있다.
LLM에 대한 탈옥 공격을 방어하기 위해 기존 정적 프롬프트 방식 대신 동적 딥 프롬프트 최적화(DDPO)를 제안한다. DDPO는 LLM의 중간층을 특징 추출기로 사용하여 가벼운 다층 퍼셉트론을 통해 방어용 임베딩을 동적으로 생성하고, 이를 후속 중간층에 주입하여 LLM의 가중치를 수정하지 않고 입력에 따라 방어를 수행한다.
시사점 이 연구는 LLM의 탈옥 공격에 대한 방어 기법으로, 기존 정적 프롬트 방식의 한계를 극복한 동적 접근법을 제시하여 실무에서 보다 효과적인 방어를 가능하게 한다.
콘텐츠 가드가 악성 콘텐츠를 인식하지 못하거나 인식했지만 차단하지 못하는 두 가지 실패 원인을 구분하는 새로운 분석 방법을 제안한다. 19개 조건 중 17개에서 해독 측정이 허용되며, 7~56개의 프롬프트당 표현은 되었지만 차단되지 않은 사례가 보고된다.
시사점 콘텐츠 가드의 실패 원인을 구분함으로써 안전 훈련의 한계와 결정 규칙의 개선 필요성을 실증적으로 파악할 수 있다.
인코딩된 프롬프트 공격은 해로운 요청을 숨기는 방식으로 평가되지만, 이 연구는 이 방식이 모델 평가에 거의 정보를 제공하지 않는다는 것을 보인다. 4개의 7-8B 모델을 대상으로 실험한 결과, 인코딩된 해로운 요청에 대한 거절률은 0.08~0.10으로 표본 오차 범위 내에 머물렀으며, 평문 요청에 대한 거절률은 0.57에 달했다.
시사점 보안 평가 시 인코딩된 요청에 대한 분석을 추가함으로써 모델의 실제 안전성을 정확히 평가할 수 있다.
시각-언어 모델(VLM)의 안전성은 요청 내용에 따라 달라질 것으로 기대되지만, 연구는 요청에 첨부된 이미지의 존재가 모델의 거부 반응에 영향을 미친다는 것을 보인다. 첨부된 빈 캔버스가 모델의 거부 반응을 수십 퍼센트포인트 변화시키며, 이는 위험과는 무관하다는 것을 실험적으로 입증한다.
시사점 이 연구는 시각-언어 모델의 거부 반응이 요청에 첨부된 이미지의 존재에 따라 달라질 수 있음을 보여주어, 모델의 안전성 평가 시 이미지 첨부 여부를 고려해야 함을 시사한다.
IoT 네트워크 보안에서 제로데이 위협을 탐지하기 위해 Siamese 네트워크 기반 이상 상관 분석과 강화 학습 기반 적응 방어를 결합한 하이브리드 시스템을 제안한다. 실험 평가에서 99.28% 학습 정확도, 99.07% 미확인 공격 탐지 정확도, 93.94% 제로데이 탐지 비율을 보였다.
시사점 이 연구는 IoT 환경에서 동적으로 변화하는 제로데이 위협에 대응하기 위한 자가 학습 및 확장 가능한 방어 메커니즘을 제공한다.
다중 에이전트 언어 모델 시스템에서 안전한 상호작용을 위해 정책 기반 프레임워크인 Executable Semantic Commitments with Clean-Room Recovery (ESC-CR)를 제안하고, 이는 메시지 클레임과 권한을 분리하여 외부 경계에서 실행 가능한 정책을 강제한다. 평가 결과 ESC-CR은 오염된 컨텍스트 재시도가 실패하거나 정보를 삭제하는 것과 달리, 계산 예산 내에서 증거 기반 클레임을 보존하면서 비인가 발행을 억제한다.
시사점 ESC-CR은 다중 에이전트 시스템에서 비인가 정보가 포함된 메시지를 효과적으로 억제하면서 필요한 정보를 보존할 수 있어, 실무에서 에이전트 간 통신 보안을 강화하는 데 활용할 수 있다.
AI가 사이버 방어에 미치는 영향을 이론적으로 모델링하고, AI 증강 방어의 계층적 효과와 인간-AI 협업의 최적 비율을 제시한다. 시뮬레이션 결과, AI 증강은 방어 계층에서 가장 큰 추가 효과를 제공하며, 100%의 분석가 커버리지가 경보를 20배 감소시키지만 시스템 수준 탐지 확률은 낮춘다.
시사점 이 연구는 사이버 보안 운영 센터(SOC)에서 AI와 인간 분석가의 협업 비율을 최적화하는 구체적인 설계 목표를 제시한다.
LoRango는 텍스트-이미지 디퓨전 모델에서 LoRA 어댑터를 조합하여 숨겨진 행동을 활성화하는 새로운 공격 기법을 제안한다. LoRango는 SD v1.5에서 97.9%, SDXL에서 98.7%의 성공률을 보인다.
시사점 이 연구는 LoRA 어댑터 조합을 통한 공격 가능성을 보여주어, 디퓨전 모델 사용 시 어댑터 조합 검토의 필요성을 강조한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.