⌘ K
… 读取采集状态 同步中...
雷
原文
三节课·· 2026-09-05AI 评分1

Eval丨 我们做了个“你画我猜 Benchmark” :1350 张图后,GPT-6 险胜

AI 导读

Eval丨 我们做了个“你画我猜 Benchmark” :1350 张图后,GPT-6 险胜 周一笑*|smiletalker* 王兆洋*|Geisterspiele* 每逢新模型发布,总有人先让它画张 SVG。 这“传统”源自开发者 Simon Willison,他从 2024 年起反复用同一道题测模型,那就是著名的“自行车鹈鹕”。 这个原本带着玩笑意味的测试,后来成了观察新模型能力的保留节目,甚至有人认真查过,模型公司是不是已经开始针对这只鹈鹕优化。 而这个测试也不只测SVG,它其实可以覆盖从推理、思考、到画图、对抽象概念的理解等不同关键能力的考查。** 受这个启发,我们也决定做一个Benchmark,让模型画 SVG,以及升级一下,我们把一张图变成了一场你画我猜。 也就是模型画完不交给人打分,渲染成图片后交给其他模型猜,猜中,才算把意思画明白。 词库里除了常规名词,还有动作、热梗、AI 术语和反常识组合。 第一期,八个参评模型,一个参考组,150 个词,1350 次画图,11961 次猜测。 在目睹了各个模型或是让人惊艳或是让人哭笑不得的表现后,最终结果可以先公布给大家: Ast

本文当前提供导读和图片预览,完整图文请查看原文。

来源:三节课 · mp.weixin.qq.com