보안 취약점 평가에서의 AI slop과 환상: 추론 실패와 신뢰할 수 있는 완화에 대한 조사
대규모 언어 모델(LLM)을 보안 취약점 평가에 통합하면서 발생하는 신뢰성 문제인 'AI slop'을 실증적으로 조사하고, 이를 해결하기 위한 전략을 제시한다. Deductive Coverage Score라는 측정 지표를 제안하고, chain-of-thought 프롬프팅과 도구 사용 에이전트가 이 격차를 줄이는 데 기여하지만 완전히 해소하지 못함을 보인다.
시사점 이 연구는 AI 기반 취약점 평가 시스템의 신뢰성을 높이기 위해 수학적 검증 가능성으로 평가 기준을 전환할 필요성을 시사한다.