LLM 레드팀 공격을 위한 예산 기반 공격 스케줄링: 정적 사전 정보, 의미론적 안내, 온라인 피드백의 역할
본 연구는 공격 성공률이 조건에 따라 달라지는 LLM 공격의 효율적 평가 문제를 공격 스케줄링 문제로 형식화하고 세 가지 신호의 역할을 조사했다. 실험 결과, 역사적 성공률은 초기화에 강하지만 방어적 분포 변화에 취약하며, 의미론적 안내와 온라인 피드백은 이러한 취약점을 보완하는 역할을 한다.
시사점 제한된 시도로 LLM의 견고성을 평가할 때, 공격 시퀀스를 최적화하기 위해 정적 정보, LLM 기반의 의미론적 안내, 그리고 이전 질의로부터의 온라인 피드백을 결합적으로 활용할 수 있다.