우리가 만들지 않은 시험지에서 잰 숫자입니다. VENETA WorldModel의 기억·자가발전 계층을 범용 기억 벤치마크 LongMemEval-S에 그대로 넣었습니다. 500문항 전부, 작성자는 Claude Opus 5.5, 채점은 이 벤치의 공식 GPT-4o 판정자, 두 팔 모두 3회 반복입니다.
- 기억 계층 켬 94.5 %, 3회 평균 [93.6–95.2]
- 기억 계층 끔 19.7 %, 3회 평균 [19.2–20.2]
이 계층은 온프렘 운영 환경을 위해 만들었습니다. 데이터가 건물을 떠날 수 없고, 답을 쓰는 모델이 고객 사내의 로컬 LLM이고, 기억해야 할 것이 대화가 아니라 사람이 내린 결정인 곳입니다. 그 환경을 재는 벤치마크가 없어 우리 것을 따로 만들었는데, 반대 경우가 궁금했습니다. 작성자를 프런티어 모델로 바꿔 끼우고 일반 사용자를 전제한 시험지에 넣으면 어떻게 되는가.
능력별로 어디가 강하고 어디가 약한가
지식 갱신 98.3(78문항), 어시스턴트가 한 말 97.6(56), 사용자가 한 말 96.7(70), 시간 추론 93.2(133), 다중 세션 추론 89.7(133). 「한 세션 안의 선호」는 30문항에서 세 번 모두 만점이지만 분모가 작은 칸이라 완벽함의 증거로 읽을 것은 아닙니다. 우리가 보고 있는 칸은 133문항짜리 다중 세션 추론 쪽입니다.
두 팔의 예산은 같습니다
켠 쪽은 60,000자 회상 블록을 봅니다. 끈 쪽은 같은 대화의 뒷부분을 60,000자로 잘라 그대로 넣습니다. 이 벤치의 대화는 평균 489,731자 — 단행본 세 권 분량이고, 한 건도 60,000자보다 짧지 않습니다. 그래서 끈 쪽은 모든 문항에서 한도를 꽉 채웁니다.
19.7 %를 혼자 읽으면 안 됩니다
끈 쪽이 맞힌 문항의 3분의 1 가까이가 「절제」 문항입니다. 대화에 없는 것을 물으면 모른다고 답하는지 보는 30문항인데, 아무것도 보지 못한 쪽은 거의 모든 질문에 모르겠다고 답하므로 이 칸만 매번 만점을 받습니다. 절제를 뺀 470문항에서 끈 쪽은 14.6 % [14.0–15.1]입니다.
우리가 이 숫자로 주장하지 않는 것
- 다른 기억 제품보다 낫다고 말하지 않습니다. 같은 조건에서 맞춰 보지 않았으므로 비교할 자격이 없습니다.
- 이 벤치 하나로 기억을 다 쟀다는 뜻이 아닙니다. LongMemEval은 사람과 어시스턴트의 긴 대화를 봅니다. 운영실에서 사람이 승인하고 거절하고 교정한 기록을 지키는지는 우리가 만든 벤치가 묻습니다.
- 94.5 %는 제품 기본 설정의 숫자가 아닙니다. 제품의 기본 회상 예산은 3,000자이고, 그건 운영자의 결정 기록에 맞춘 크기입니다.
측정 조건과 능력별 런 단위 정답 수, 틀린 문항을 열어 본 기록까지 전문은 project veneta에 있습니다: LongMemEval 벤치마크 결과.