고품질 데이터가 안전하지 않다! 데이터 선택 후 LLM 독화
대규모 언어 모델(LLM)은 소규모 해로운 샘플로 미세 조정(fine-tuning) 시 취약할 수 있다. 품질 기반 선택을 통과한 고품질 샘플이 모델 안전성을 저하시킬 수 있음을 보인다.
시사점 LLM 훈련 시 데이터 선택 과정이 해로운 샘플을 효과적으로 걸러내지 못할 수 있으므로, 품질 기준 외에 안전성 검증이 필요하다.
연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
대규모 언어 모델(LLM)은 소규모 해로운 샘플로 미세 조정(fine-tuning) 시 취약할 수 있다. 품질 기반 선택을 통과한 고품질 샘플이 모델 안전성을 저하시킬 수 있음을 보인다.
시사점 LLM 훈련 시 데이터 선택 과정이 해로운 샘플을 효과적으로 걸러내지 못할 수 있으므로, 품질 기준 외에 안전성 검증이 필요하다.
파인튜닝을 통해 대형 언어 모델에서 개인 정보가 다시 노출될 수 있음을 보인다. ReGap 공격은 6-21%포인트 개선된 개인 정보 복구 성능을 보인다.
시사점 이 연구는 파인튜닝을 통한 개인 정보 유출 가능성을 실무에서 주의 깊게 검토할 필요가 있음을 시사한다.
도구 사용 대규모 언어 모델(LLM) 에이전트의 보안 문제를 해결하기 위해 기원 인식 능력 강제(PACE)라는 새로운 방법을 제안한다. 79개 공격 시나리오 중 62개에서 공격 성공률을 가장 낮게 유지하는 것으로 실험 결과를 보인다.
시사점 이 연구는 도구 사용 LLM 에이전트의 보안 강화에 새로운 접근법을 제시하여, 실무에서 이러한 에이전트를 안전하게 운영할 수 있는 기반을 제공한다.
DeFi 보관소는 스마트 계약 기반 자산 관리 시스템으로, 예치금을 풀하고 프로그래밍 가능한 전략을 실행하며 토큰화된 셰어를 생성한다. 본 연구는 보관소 아키텍처와 큐레이터 매개 제어 계층을 체계화하여, 세 가지 분류체계를 제안하고 실제 프로토콜을 매핑하였다.
시사점 이 연구는 DeFi 보관소의 설계와 운영 실패 모드를 이해하고, 블록체인 기반 금융 애플리케이션의 안전한 설계를 지원하는 기초를 제공한다.
GNSS 스푸핑 공격이 스마트폰에 미치는 영향과 대응 전략을 분석한다. 모바일 기기의 하드웨어 제약과 GNSS 수신기 처리 과정의 불투명성으로 인한 대응 방안의 한계를 조사하고, 모바일 환경에 적합한 기술을 분류하고 비교한다.
시사점 이 연구는 모바일 기기의 GNSS 스푸핑 공격 대응을 위한 실용적 기술을 제시하여, 보안 설계 시 고려사항을 명확히 해준다.
OSS 공급망 공격을 탐지하고 분류하기 위해 세분화된 위협 분류 체계를 기반으로 대규모 언어 모델을 프레임워크로 제안한다. GPT-4를 사용한 프레임워크는 다중 분류 정확도 97.0%와 매크로 F1 점수 97.0%를 달성한다.
시사점 OSS 공급망 보안 분야에서 세분화된 분류 체계를 기반으로 한 대규모 언어 모델을 활용한 자동 탐지 프레임워크를 도입할 수 있다.
호스트 기반 침입 탐지 시스템(HIDS)에서 시스템 호출 시퀀스를 재구성하고 복잡한 공격 패턴을 학습하는 ReSHID 프레임워크를 제안한다. 실험 결과, F1-score 98.64%, ROC-AUC 99.80%, PR-AUC 98.10%를 달성하며 기존 방법 대비 n-그램 특징 수를 75.2% 및 44.1% 감소시켰다.
시사점 ReSHID를 활용하면 HIDS의 탐지 성능을 향상시키고 특징 수를 줄여 리소스 효율성을 개선할 수 있다.
ReCast는 민감한 입력을 보호하면서 멀티모달 모델에서 수치 추론을 유지하는 프레임워크를 제안한다. 4,000개의 테스트 예제에서 75.10% 정확도를 달성했으며, 원격 모델 정확도의 92.43%를 유지했다.
시사점 ReCast는 멀티모달 모델 사용 시 민감한 데이터 노출을 줄이며 원격 추론의 이점을 유지할 수 있는 실용적인 보안 프레임워크이다.
JEV-IDS는 라벨이 부족한 환경에서 제로데이 침입을 탐지하기 위해 Jev System One Model을 기반으로 한 네트워크 침입 탐지 시스템이다. JEV-IDS는 각 흐름에 대해 이진 공격 확률과 유한 선택 트래픽 범주 두 가지 질문을 JEV에 하여, GPT-5.6 Luna보다 4.8배 빠르고 3.8배 저렴하며, 새로운 공격에 대한 재현률이 1.5배 높았다.
시사점 JEV-IDS는 라벨 데이터가 부족한 상황에서도 효과적인 네트1워크 침입 탐지를 가능하게 하며, 기존 모델 대비 높은 성능과 낮은 비용을 제공한다.
양자화된 대규모 언어 모델(qLLMs)의 탈옥 공격에 대응하기 위해 MOMAT이라는 하드웨어 강화된 안전 프레임워크를 제안한다. MOMAT은 구조화된 지식 검색과 저전력 방어 가속화를 결합하여, 100개 쿼리 배치 처리 시간을 15,052.44ms에서 3,207.21ns로 4.69×10^6배 빠르게 하고, 에너지를 8.1×10^7 μJ에서 3.32 μJ로 2.5×10^5배 절감한다.
시사점 MOMAT은 양자화된 대규모 언어 모델의 탈옥 공격 방어를 저전력으로 가능하게 하여, 에지 기기에서의 안전한 모델 배포를 지원한다.
TLS 클라이언트 헬로 패킷의 암호화 정보 요소를 전략적으로 재배열하여 은밀한 채널을 구현하는 헬로 터널을 제안한다. 실제 트래픽 캡처와 공개 TLS 지문 데이터를 사용해 기존 은밀한 채널 대비 헬로 터널의 효과성을 수치적으로 보인다.
시사점 NGFW와 인터랙티브 프록시를 우회할 수 있는 새로운 TLS 기반 은밀한 채널이 발견되어, TLS 패킷 분석 및 필터링 정책을 재검토해야 한다.
LLM 에이전트를 활용해 웹 애플리케이션 백엔드의 접근 제어 취약점을 체계적으로 탐지하는 보안 프레임워크 ABSENTIA를 제안한다. BAC-Bench라는 새로운 벤치마크를 공개하고, ABSENTIA가 19개의 취약점을 재현했으며 LLM 검증기의 51% 확인을 얻었다.
시사점 ABSENTIA를 사용하면 개발자와 보안 엔지니어가 웹 애플리케이션의 접근 제어 취약점을 체계적으로 감사하고 탐지할 수 있다.
AuraForge는 실행 가능한 보안 테스트를 생성하고 검증하여 안전한 코드 작성 에이전트를 훈련시키는 방법을 제시한다. AuraGym이라는 다중 언어 및 다중 CWE 훈련 환경을 구축하여, 기존 수작업 테스트 대비 3배 많은 테스트 케이스를 생성하고 83.23%의 오류율 감소를 달성했다.
시사점 AuraForge를 사용하면 코드 작성 에이전트의 보안 감독을 확장하여 더 안전한 코드 생성을 가능하게 한다.
LLM 추출 공격에 대한 다양한 방어 기법과 공격 방법을 통합 벤치마크로 평가하여 비교한다. 6가지 공격, 10가지 방어 기법, 2가지 적응 공격을 포함한 평가 프레임워크를 제안한다.
시사점 이 연구는 LLM 추출 방어 기법의 효과성을 체계적으로 평가할 수 있는 벤치마크를 제공하여, 보다 신뢰성 있는 방어 전략 개발에 기여할 수 있다.
LLM에서 토큰 수준 적응형 계산을 통해 안전성과 효율성을 동시에 향상시킨 SafeDepth 프레임워크를 제안한다. Llama-3-8B-Instruct에서 계산량을 줄이고 해로운 응답률을 55.44%에서 25.25%로 낮추는 실증 결과를 보인다.
시사점 LLM의 안전성과 효율성을 동시에 개선하는 SafeDepth를 통해 실무에서 모델 운영 비용과 위험을 줄일 수 있다.
LLM 에이전트가 실행 중인 상태에서 지속적인 정지와 재개 결정이 필요한 상황에서 신뢰할 수 있는 거버넌스 메커니즘을 제안하고, 이를 암호화 기반으로 구현한 책임 증명 블록(Accountability Proof Block, APB)을 제시한다. 3,812개의 정지 이벤트에서 100% 해결률을 기록했으며, 1,800개의 공격 중 100% 탐지, 2,000개의 단일 키 침해 시도에서 0건의 오인식을 보였다.
시사점 이 연구는 LLM 에이전트의 실행 중 정지 상황에서 신뢰할 수 있는 결정을 내리는 메커니즘을 제시하여, 보다 안전한 AI 시스템 운영을 가능하게 한다.
이미지 워터마킹의 공격 저항성과 이미지 품질, 처리 지연 등을 동시에 만족시키기 위해 TAILOR라는 조건부 워터마킹 조합 프레임워크를 제안한다. 실험 결과, TAILOR는 7,321개의 요청을 처리하면서 96.21%의 요청 충족률과 평균 41.02 dB의 PSNR을 달성했다.
시사점 이 연구는 다양한 공격 상황에서도 높은 요청 충족률과 품질을 유지하는 워터마킹 기술을 제공하여, 디지털 콘텐츠 보호 시스템 개발에 활용될 수 있다.
강화학습(RL) 에이전트가 사이버 공격 시뮬레이터 간 및 실제 환경으로 전이될 수 있는지 연구하고, 정책 이전 프레임워크를 제안한다. 4개 시뮬레이터에서 실험한 결과, 60.5% 성능을 가진 정책이 45.2% 승률을 보였으며, 가상 머신 환경에서 0.085의 Jensen-Shannon 발산을 기록했다.
시사점 이 연구는 사이버 공격 시뮬레이션 에이전트의 환경 간 전이 가능성을 입증하여, 다양한 시뮬레이터에서 훈련된 정책을 실제 환경에 적용할 수 있는 기반을 제공한다.
기존 집계 프로토콜은 클라이언트 업데이트의 정밀도를 고정하지만, 이 연구는 클라이언트가 단 한 번 업로드한 후에도 점차 더 높은 해상도의 집계를 승인할 수 있는 새로운 기능을 제안한다. 이를 실현하기 위해 클라이언트 업데이트를 중첩 격자 숫자로 표현하고, 별도로 해제 가능한 레이어를 보안 집계와 추가 집계 패드로 보호한다.
시사점 이 연구는 분산 학습 환경에서 보안 집계의 유연성을 높이는 새로운 방법을 제시하여, 실무에서 보다 효율적인 데이터 관리와 보안 유지가 가능해질 수 있다.
강화 학습(RL) 기반의 자율 사이버 방어 시스템은 훈련된 네트워크에 의존하여 일반화가 제한된다. 이를 개선하기 위해 계층적 RL 구조를 제안하고, 대규모 언어 모델(LLM)을 활용한 훈련 없는 방어 제어를 실험적으로 평가했다. 3B~70B 파라미터의 6개 모델을 사용한 실험에서, LLM 기반 실행 제어는 네트워크 규모 변화에도 1% 이하의 측면 이동을 억제하는 성능을 보였다.
시사점 대규모 언어 모델을 활용한 방어 시스템은 네트워크 규모 변화에 따른 재훈련 없이도 효과적인 방어를 가능하게 할 수 있다.
계층적 레드팀 에이전트의 아키텍처를 평가하기 위해 CybORG CAGE-4와 Cyberwheel 네트워크에서 실험을 수행했다. RL+RL은 CAGE-4(78.5%)와 100-호스트 Cyberwheel(81.0%)에서 높은 성능을 보였으며, LLM+LLM은 1010-호스트 Cyberwheel(55.0%)에서 우수했다.
시사점 레드팀 에이전트의 아키텍처 선택은 환경에 따라 달라져야 하며, 단일 환경에서의 평가로는 일반화할 수 없다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.