월드모델의 한 기능이 아니라 전체를 재는 벤치마크 제안, worldmodel-bench v0.2를 공개합니다.
무엇을 재는가
열 축으로 잽니다. 정확성, 안정성, 보안, 미래 예측 정확성, 시뮬레이션, 최적화, 자가 발전, 자가 개선, 메모리, 성능입니다. 축에 앞서 통과하거나 떨어지는 네 관문이 있습니다. 데이터가 네트워크 밖으로 나가지 않을 것, 시스템이 손댈 수 있는 범위를 정하는 권한 등급, 감사와 역할, 정직한 라벨이 붙은 재현입니다. 관문과 축은 여러 나라의 통신사, 전력회사, 국방, 정부, 정보기관, 금융이 운영 옆에 두는 시스템에 요구하는 조건을 읽어 만들었습니다.
어떻게 매기는가
점수는 전부 코드가 매깁니다. 숫자마다 조건이 붙습니다. 어느 에디션, 어떤 데이터, 어느 모델, 몇 회, 언제 쟀는지입니다. 종합 점수는 두지 않습니다. 하나의 숫자는 어느 관문에서 떨어졌는지를 가리기 때문입니다.
먼저 올리는 것
아직 비교할 상대가 없어 veneta WorldModel의 카드부터 올립니다. 통신 에디션에서 지금까지 측정한 값과 아직 재지 못한 것을 같은 자리에 적었습니다. 메모리 축은 백서에 설명한 기억 능력 벤치마크 veneta-bench로 잽니다.
제안 전문, 관문과 축, 현재 카드는 project 사이트에 있습니다. worldmodel-bench