안녕하세요, log 쌓는 MK 입니다.
새로운 LLM이 나오면 사람들은 각자의 방식으로 테스트를 해봅니다.
제가 가장 많이 봤던 테스트는,
- 마리오 게임 만들기
- 자전거 타는 펠리컨 만들기
입니다.
한 눈에 결과 품질을 확인할 수 있도록 동일한 프롬프트를 이용해 새로운 모델이 나올때 마다 테스트 해보는 겁니다.
저는 샤오미의 새로운 모델이 opencode에서 무료로 사용이 가능하다고 해 다른 모델과 비교해 보고 싶은 마음에 간단하게 해볼게 뭐가 있을까 생각해 보다가 아이가 가끔 하던 게임인 컬러 소트가 생각났습니다.
작은 병이나 튜브에 서로 다른 색깔의 액체나 블록을 같은 색끼리 분류하는 퍼즐 게임으로 수많은 게임이 나와있지만, 직관적이고 심심하면 저도 한 판 할 수 있으니 비교해 보는 용도로 괜찮다는 생각이 들었습니다.
그래서 Color Sort Lab 이름으로 페이지를 하나 만들고 몇 가지 모델을 사용 가능한 도구에서 테스트 해봤습니다.
왼쪽 SELECT A MODEL에서 어떤 모델이 만든 게임을 할 건지 선택을 하면 오른쪽 화면에서 게임을 할 수 있습니다.
모델별로 살펴보면 정상적인 플레이가 되지 않는 모델은 ChatGPT 앱에서 무료 버전으로 생성한 케이스와 opencode에서 MuseSpark 1.3(xhigh)로 생성한 케이스 입니다.
MuseSpark 1.3은 현재 무료긴 해도 xhigh로 생성했음에도 실패했다는 게 놀라웠습니다. 샤오미의 MiMo V2.6 Flash는 디자인적으로는 그럴듯하게 생성됐지만 실제 게임 동작은 좀 어설펐습니다.
GPT-6 모델들이 여러모로 나았고, Gemini 3.8 Flash와 Sonnet 5.5는 투박하지만 올바르게 게임이 플레이 됐습니다.
여러분도 다른 모델들의 결과도 직접 살펴보시고, 각자 나름의 기준을 세울 수 있는 결과물을 만들어 보세요. 그리고 벤치마크의 지표들과 비교해서 결과를 살펴보시면 나름의 인사이트를 얻으실 수 있지 않을까 싶습니다.