작년까지는 이겼는데.....
100점이 아닌 97점은 이유는
인간이 오류로 문제를 잘 못 냈기 때문일거 같네요.
그렇게 했으면 100점 받아야죠
한 문제 정도는 환각으로 충분히 오답 날 수 있어서요..
정답을 알려줘도 환각에 빠지면 헛소리 하는게 LLM이라..
근데 표를 보니 미니모델이 포함되어 있네요.
GPT-4o 모델부터 실시간 검색이 들어갔는데 실시간 검색이 안되는 o1-mini 모델이 점수가 더 높은걸 보니 모델성능 자체가 성장했다고 봐야겠네요.
등록안내
100점이 아닌 97점은 이유는
인간이 오류로 문제를 잘 못 냈기 때문일거 같네요.