바이트댄스, AI 실행 환경 평가 프레임워크 '하네스데브' 공개
바이트댄스 연구진이 AI가 실행 환경을 스스로 개선하는 능력을 평가하는 새로운 평가 프레임워크 '하네스데브'를 공개했다. 이 프레임워크는 기존 에이전트 벤치마크와 달리 모델이 직접 작성한 실행 가능한 구축 코드를 평가하는 방식으로, 생성과 진화 두 단계로 나뉘어 실험되었다. 6개 주요 모델이 참여한 결과, AI가 인간 설계 하네스에 근접한 성능을 보였지만, 안정성과 범용성 측면에서 한계가 드러났다.
(새 창에서 원문 열기)