벤치마크 전쟁, 누가 이겼냐보다 누가 뭘 숨겼냐를 보세요

지난주 지인 한 분이 슬랙으로 스크린샷 두 장을 보냈어요. 하나는 Anthropic 발표 페이지, 다른 하나는 OpenAI 발표 페이지. 둘 다 큼직하게 “우리가 최고”를 내걸었죠. 질문은 단순했어요. “그래서 어느 쪽이 맞아요?”

답은 이렇습니다. “둘 다 맞아요. 다만 둘 다 자기가 이기는 벤치마크만 맨 앞에 올렸어요.” 이게 이 시리즈 2편의 핵심이에요. 공급사 발표 수치는 거짓이 아니라 ‘선택’입니다. 그 선택의 결을 따라가면, 정작 무엇을 감추고 싶은지까지 드러나요.

스냅샷 기준: 2026-07-12. Anthropic 수치는 발표 자료 직접 인용, OpenAI 수치는 1차 리서치 기반이고 openai.com 원문 재확인은 봇 차단으로 미완입니다.

양사 표를 나란히 놓으면 보이는 것

2026년 6월 9일 Anthropic이 Fable 5와 Mythos 5를 냈어요. 가격은 Fable 5가 100만 토큰당 입력 10달러, 출력 50달러. 이어 6월 26일 OpenAI가 GPT-5.6 프리뷰를 내고 7월 9일 정식 출시했죠. 등급은 세 가지. Sol(플래그십, 5달러/30달러), Terra(균형, 2.50달러/15달러), Luna(고속저가, 1달러/6달러). 숫자는 세대 번호, Sol/Terra/Luna는 등급 이름이에요.

가격만 놓고 보면 Sol은 Fable 5의 정확히 절반입니다. 이번 대결의 바탕에 깔린 음이죠.

이제 벤치마크를 보죠. Anthropic의 첫머리에 올라간 건 Cognition FrontierCode 29.3%(Opus 4.8은 13.4%, 4.7은 5.2%)예요. 세대 점프가 가장 극적으로 보이는 지표죠. 그런데 SWE-bench Verified 95.5%는 왜 앞에 안 뒀을까요? Fable 5가 95.0%라서 차이가 0.5%포인트에 불과하거든요. 제목에 걸면 “겨우 이거?” 소리 듣기 쉬운 숫자예요.

OpenAI는 무엇을 올렸을까요? Agents’ Last Exam에서 Sol이 Fable 5를 11~13점 앞선다는 주장, 그리고 Artificial Analysis Coding Agent Index에서 최고 기록 80점이라는 문구예요( Fable 5 대비 +2.8점, 토큰·시간은 절반 이하라고 덧붙였습니다). 그런데 같은 페이지 표 안쪽을 보면 SWE-Bench Pro는 Fable 5 80% vs Sol 64.6%, Toolathlon도 61.7% vs 58%로 열세를 스스로 인정하고 있어요.

지는 벤치마크를 표에 남겨둔 것 자체가 정보예요

OpenAI는 SWE-Bench Pro 열세를 표에서 아예 뺄 수도 있었어요. 하지만 그렇게 했다가 커뮤니티에서 “빼먹었다”는 말이 나오면 더 큰 리스크죠. 그래서 표에는 남기고, 제목에서는 뺐습니다. 사실상 “장기 에이전트형 코딩에서는 Anthropic이 우위”라는 인정이에요.

Anthropic도 계산은 같아요. FrontierCode를 앞에 둔 이유는, 이 지표가 이번 세대에서 가장 큰 차이를 보여주는 데다, 실제 유지관리자가 PR(풀 리퀘스트)을 보고 “머지하겠는가”로 채점하는 구조라 Anthropic의 서사(장기 에이전트형 워크플로)와 가장 잘 맞기 때문입니다. SWE-bench 숫자를 게을러서 안 올린 게 아니라, 구도가 그렇게 짜인 거예요.

‘점수’가 아니라 ‘토큰 소모’로 전선이 이동했어요

이번 발표전에서 새로 열린 축이 하나 있어요. OpenAI는 “점수로 이긴다”보다 “같은 점수를 절반의 토큰·절반의 시간으로 낸다”에 방점을 찍었어요. 여기에 가격 절반이 결합되면 운영비는 체감상 4분의 1 구도가 됩니다. 프로덕션에 붙여 돌리는 빌더 입장에선 솔깃한 계산이죠.

다만 아직 검증은 덜 됐습니다. Artificial Analysis도 제3자 관찰이지만, 벤치마크 자체가 공급사 최적화의 표적이 되기 쉬운 구조예요. 상대적으로 신뢰를 받는 Terminal-Bench 2.1을 보면 Sol 88.8%(신설 Ultra 모드 91.9%) vs Fable 5 84.3%입니다. 그런데 같은 벤치에서 Mythos 5는 88.0%라서 Sol과 엇비슷해요. techzine의 평이 정확합니다. “Fable을 제외한 전 모델 대비 경쟁력, Ultra는 Fable에 근접.”

정리하면 이렇습니다. 코딩 에이전트 영역에서 Sol은 Fable 5는 못 이기지만 나머지는 대체로 앞서고, Ultra 모드로 가면 Fable에 근접해요. 그리고 가격은 절반. 이게 제3자 평가에서 확인된 사실이고, 그 밖의 문구는 공급사 해석이에요.

벤치마크와 실사용의 간극 — Hacker News에선 뭐가 터졌나

발표 후 2주가 지나 Hacker News 스레드를 보면, 사용자가 화내는 이유는 점수가 아니에요. 두 가지가 반복돼요.

첫째, 토큰 소진. “에이전트 5개로 조사 작업을 돌렸더니 주간 한도를 100% 다 썼다”는 보고가 줄줄이 올라옵니다. 점수가 오를수록 모델이 더 길게 사고하고, 생각이 길어질수록 토큰이 폭증해요. 벤치마크 점수에는 잘 안 잡히는 축이죠.

둘째, 안전 분류기의 오탐. 시리즈 1편에서 다룬 접근 제한 이슈와 맞물려, 정상 요청이 안전 분류기에 걸리는 빈도가 늘었다는 이야기가 나옵니다. 이것도 벤치마크는 측정하지 않아요.

결국 점수 1~2%포인트 차이보다 프로덕션에서 진짜 아픈 건 이 둘입니다. 그리고 이 둘은 공급사 발표 자료 어디에도 없어요.

개인 실측이 간극을 메우는 중

이 틈을 메우는 건 유튜브의 개인 리뷰어들이에요. Nate Herk의 “I Tested GPT 5.6 Sol vs Fable 5”는 7월 10일 게시되어 14.7만 조회, Peter Yang의 “6 Real Use Cases”는 5.1만, Edward Donner의 “I Wasn’t Expecting This”도 뒤를 이었죠. 공통점은 하나. 공급사 벤치마크는 제쳐두고, 자기 ‘실제 업무 과제’로 직접 돌려 봅니다.

이 방식이 먹히는 이유는 분명해요. 벤치마크의 반감기가 짧다는 걸 시청자도 이미 압니다. 아예 “Fable보다 더 잘하고 더 싸다(Better AND cheaper than Fable)”를 제목에 박은 리뷰(How I AI, 3.1만 조회)까지 나왔어요. 하지만 그건 각자 자기 과제에서 그랬다는 뜻일 뿐이죠. 시방서 교차검증이나 CAD 도면 메타데이터 추출에서 같은 결과가 나올지는 아무도 모릅니다.

그래서 빌더는 뭘 해야 하나 — 골든셋 평가

여기까지 오면 결론은 하나로 좁혀져요. 공급사 벤치마크의 반감기는 한 분기입니다. 이번 발표가 끝나면 석 달 뒤 새 모델이 나오고, 지금 표는 의미를 잃어요. 남는 건 자기 도메인 업무로 만든 ‘골든셋 평가’뿐입니다.

방법은 단순해요. 자기 프로덕트에서 진짜 자주 도는 과제 50~200개를 뽑아, 정답(혹은 정답 범위)을 사람 손으로 표기한 데이터 묶음을 만드는 겁니다. 예를 들어 AEC 쪽이라면 이런 식이죠.

• 시방서 PDF 30건에서 콘크리트 강도 스펙 추출 — 정답은 엔지니어가 표기
• 도면 타이틀블록 20건에서 프로젝트 메타데이터 추출 — 도면 파일별 정답 세트
• 인허가 신청서 초안 10건 교차검토 — 규정 위반 항목 리스트 정답

이 묶음을 만들어두면 새 모델이 나올 때마다 하루 안에 “우리 제품에서 Sol이 Fable을 이기는가”에 답할 수 있어요. 공급사 발표문을 붙들고 3주를 보낼 필요가 없죠.

한국 빌더 관점에서 하나만 더. 이 골든셋은 한국어 도메인 데이터로 만드세요. 공급사 벤치마크는 대부분 영어예요. 사기 탐지 룰을 미국 카드 사기 데이터가 아니라 자사 결제 데이터로 만드는 것과 같은 이치입니다.

이번 주에 할 일

이 글을 읽고 이번 주에 하나만 하신다면 이겁니다. 자기 프로덕트에서 LLM이 지금 수행 중인 과제 30개만 뽑아, 입력과 기대 출력을 CSV 한 장에 정리하세요. 정답 표기는 다음 주에 해도 괜찮아요. 30개 목록을 만드는 것부터가 출발선입니다.

이거 없이 발표문을 읽으면 계속 흔들립니다. 이거 하나만 있어도, 발표가 나올 때마다 하루 만에 판단이 끝나요.

시리즈 3편에서는 자체 평가가 있어도 남는 문제 — 모델 접근, 제한, 오탐 리스크를 어떻게 가격에 반영할지 다룰게요. 평가는 “어느 모델이 우리 과제에서 이기는가”에 답해도, “그 모델이 다음 분기에도 켜져 있을까”에는 답하지 못하거든요.