AI产品狙击手

谷歌今天刚上线了最新的视频生成模型 Gemini Omni 1.2 Flash，据说非常能打，赶紧叫群里粉丝帮忙去 AI Studio 用我们的六维鹈鹕骑车测试用例跑了下。提示词在视频里展示，好，我们看下效果啊，感觉问题还是不少，我们一个个来吧。 先看第一个维度主体完整性与跨帧一致性：首先自行车缺少了车把后视镜这个指定部件；其次镜面护墙不是一整面不间断落地镜面，奇怪的是，除了镜面墙还有一个镜子里的鹈鹕在里面，明显是穿模了。 第二个维度肢体与机械推理：提示词说左翅膀要搭在车把上、另一只收拢，但是画面里鹈鹕翅膀都是收拢的；其次鹈鹕嘴后来是闭合的，没有保持张大嘴的要求。 第三维度镜面反射与空间推理：镜面里的自行车链条、护盖、铃铛没有跟着实物做正确的左右翻转，对称关系错乱，模型不是生成对称镜像，更像是复制了一只相似鹈鹕放进去。 第四维度中文文本与时钟渲染：首先淇澳的澳字错了；其次挂钟的时间不是精确的三点钟，相距比较远。第五维度液体与浮力运动，没有看到什么问题。 第六维度运镜、构图与光影：构图这里有个很严重的问题，说好了步道是从右上到左下、镜面墙在步道上侧，所以这个是严重不符合要求的...

蚂蚁百灵 Ling 3.2 Flash 刚刚上线，粉丝就私信我赶紧测评下。事不宜迟，走官方接入的 pi agent，思考深度拉到最大，开测。第一题强约束指令遵循句子生成：句子都是遵循从 1 到 10 结尾的，但第七、八句明显不通顺；第 10 句我想它应该说的是凑十法，去掉也能听懂，但是更规范还是应该说凑十法。 第二题鹈鹕土星环骑自行车 SVG，转弯我觉得还可以，不过问题还是有的：第一，土星环明显不对；第二，鹈鹕没有扶着车把；第三，自行车每隔一两秒就开始左右晃动。第三题复合弓射箭 SVG 槽点更多：弓箭平拉的，射出时突然就往上蹿，我就奇怪，为什么不懂得把复合弓倾斜一点角度呢？箭羽是反的，感觉弓箭是被推出去的，人手的长度比例不协调，握弓的姿势不对劲，箭也没有射到靶心。 第四题实现个精美浏览器操作系统，右上角弹窗功能没有什么问题，dock 栏应用也不错，结果看下压轴的太空射击游戏吧——卧槽，一片空白。前面我觉得都实现挺不错的，压轴的来个这样的低级错误，这真的是虎头蛇尾啊。 第五题 3D 赛车游戏，我们玩下，这不对啊，一片空白，感觉是加载资源有问题。打开调试模式，果然，加载谷歌字体...

百度开源了新模型文心 5.5 Flash Base，总参数 2800 亿，每个 token 只激活 140 亿，权重白送。很多人看到”开源”俩字就冲去下载了，先别急——这是个 Base 模型，等于一块生肉：它只做完了预训练，没做过指令微调，直接拿来聊天对话，体验会相当翻车。 它真正给的是起点。只要把权重下下来，接上 vLLM 或者 SGLang，自己跑指令微调、强化学习，就能炼出一个贴合业务的专业模型：比如拿医学语料微调做问诊辅助，拿法律条文微调做合规审查，拿代码仓库微调做内部编程助手。 百度还放出了评测：MMLU 考了 93.3，代码题 HumanEval+ 比 DeepSeek 同级别的基座高出 12.8 个点。训练这块也挺下本，33.5 万亿 token 喂出来的，支持 128K 上下文，微调推理阶段能扩到 100 万。 权重在 HuggingFace 上，FP8 和 BF16 两个版本随便挑。有训练能力的团队可以白嫖一个国产同尺寸最能打的底座；做垂直模型二次开发的兄弟，先拿自己领域的语料微调一轮，看它跟你现有底座差多少。 访问入口

这期视频适合想快速了解 Deepseek 最新推出的 DSH Superagent 是什么、大概怎么玩的同学；但如果你想要的是从中得到最佳实践，这期不适合——有言在先。 Superagent 上几天就出来了。一般有新东西出来我都会第一时间去玩一下然后分享给大家，只是最近各种大语言模型密集发布，时间都花在大模型测评上了，所以今晚才有时间玩。 安装非常简单，我是直接丢给 Deepseek Harness、让它帮我装的。装完之后需要一个 GitHub 账号和一个用来存代码的 GitHub 仓库——是的，Superagent 和 GitHub 仓库强绑定。我这里没有用已有的仓库，而是用 kzlathander 这个以前的账号创建了一个空的代码仓库，再丢给 Deepseek Harness 帮我设置好。安装过程中碰到什么问题，直接问 Deepseek Harness 就好。另外还需要多一个 GitHub 账户，用来加进项目的白名单，让它能提 issue 和提 pull request——这些 Harness 装完都会提醒你。 都搞定之后，打开 Web 端的 Deepseek Harn...

我们最近测了好多视频生成模型，突然发现缺了 Vidu 的，所以赶紧补上。这次测的是它们当前文生视频最新的 Vidu Q3，测试用例还是经典的六维鹈鹕骑车提示词。看完效果，感觉问题还是不少，我们一个个来。 主体完整性与跨帧一致性：首先，鹈鹕的脚不知道跑哪去了，脚都没有看到，怎么骑车呢？第二，自行车的铃铛被理解成了平时餐厅里面上菜那种铃铛，这什么理解能力嘛。 肢体与机械推理：提示词说左翅膀要搭在车把上、另一只收拢，但是画面里鹈鹕翅膀都是收拢的；第二，自行车没有踩动，是怎么自动往前跑的？什么机械原理，永动机吗？ 镜面反射与空间推理：镜面里的自行车链条、护盖、铃铛没有跟着实物做正确的左右翻转，对称关系错乱；实体车把上的后视镜，在镜像里直接缺失，关键部件没有参与反射。模型不是生成对称镜像，更像是复制了一只相似鹈鹕放进去。 中文文本与时钟渲染：首先，珠海的珠字错了，淇澳两个字错了，红树林的树字错了；其次，挂钟的时间不是精确的三点钟，不过还是比较接近的。 液体与浮力运动：没有看到什么问题。 运镜、构图与光影：光影没有看出什么问题。运镜和构图的话，提示词要求一开始在鹈鹕前上方 45 度俯拍...

这期测评的是 OpenAI 最新的 GPT Image 2.6。它延续了上一代的双版本策略，分 Flare 和 Sunburst 两个 API 模型，这次先测主打质量与一致性的 Sunburst，Flare 看大家需求再说。照旧搬出我们那套生图 Benchmark，六道题逐一过一遍。 第一题是中文长文本排版支持测试，要求生成一张水彩风的珠海五天行程插画。把图里所有中文字翻了一遍，除了「鹈鹕」两个字写错，其他地方没看出什么问题。 第二题是文生图综合能力测试，题面是书房里的丰满优雅美甲美女。结果是三次全部失败，估计就是「丰满」这个词触发了审核，把这两个字删掉才出得来图。时钟、杯子、人物都没有问题，但指甲油做错了：提示词要求一只手食指是红色、另一只手的中指是白底红点波点，它把这两处都做成了无名指，而且两只手都做了；另外女孩也没有题面要求的那么丰满。 第三题是同一角色多视角一致性，四宫格不同角度图片。四个角度的人物、手部动作、发夹位置和颜色、胸前 logo 都没有问题，唯一一处是左下角那张里蓝莓在女孩右手边，而其他几张都在左手边。 第四题是物理常识题，女孩落地镜自拍。大部分没有问题...

可灵 AI 刚全量上线了可灵 4.0 Flash 模型，收到消息后我赶紧拿六维鹈鹕骑车测试用例去测评了一遍。 主体完整性与跨帧一致性：自行车缺了一个独立反射镜，其他主体应该都是完整的。 肢体与机械推理：提示词要求左翅膀搭在车把上、另一只收拢，但画面里鹈鹕的双翼都是收拢的，姿态不符合要求；另外全程鹈鹕的脚都静止不动，并没有踩动自行车。 镜面反射与空间推理：这里有三个问题。第一，镜面和实景中鹈鹕脚的动作对应是反的——实景中远离玻璃墙的左脚抬起，而镜子里却是靠近真实鹈鹕的左脚抬起；第二，自行车链和车链盖子也是反的；第三，铃铛同样是这个问题。 中文文本与时钟渲染：首先中文文本是糊的，根本看不清上面的字；其次提示词要求挂钟和横幅并排，但它没有；第三，时钟不是 3 点整，偏差不多，它画成了三点零五分。 液体与浮力运动：没有看到什么大问题。 运镜构图与光影：黄昏光影质感自然，运镜和光影都没有问题，但悬浮的时钟有点破坏整个构图。 六维跑完，你觉得这个模型表现怎么样？ 访问入口

AI 回答问题最烦的一点，就是三千字小作文，看到一半就想划走。一个独立开发者做的 Answer me with HTML 就是治这个的：装进 Claude Code、Codex 这些 agent 里，它不再甩你一大段文字，而是排出一页图解，上 GitHub 才一个多月就攒了 5,000 多颗星。 用法还是照常提问，比如讲讲 TCP 三次握手，或者说这个仓库的模块是怎么组织的。它先写一份几百字的 Markdown 稿子，再用 skill 自带的命令行工具把稿子排成页面，时序图、状态迁移图、目录树、时间线全自动画好，50 毫秒出结果。成品就一个 HTML 文件，断网也能打开。 问它 Redis 和 Memcached 怎么选，会给一张打了勾叉的对照表，末尾还落一句结论；让它挑一段文案的毛病，就一句一句标出问题词和改法。当然，一句话能讲清的问题它不硬凑，照样一句话回你。 巧劲在于把重复的活从模型手里拿走：CSS 和流程图坐标都交给命令行算。同一个问题，模型要写的 token 只有手写网页的 1/8，等待从 31 秒掉到 12 秒。它还顺手按飞机维修手册那套写法规范查措辞...

腾讯刚上线 Hy 4 正式版，我们当然要抢头啖汤去测一下。不过坦白说，测评结果没有达到我自己的预期，大家也有个心理准备。这回同样是通过 Pi 接入，思考模式拉到最高。 第一题是强约束指令遵循的句子生成测试。结尾都遵循从 1 到 10，但通顺度上「都是文言文和倒装的写法呀」。逐句看下来：第一句我觉得可以；第二句本来应该是「始分为二」，但「为」被提示词禁用，所以改成了「作」，勉强可通；第三句看得懂，但一般最后还是要加个人字；第四句又一个倒装，幸好我还有个小学毕业证，不然都看不懂，很别扭；第五句一眼能看懂；第六句还是要加个点字才通顺；第七句也还可以；第八、第九句通顺；第十句看得懂，但后面还是要加个人才算通顺。 第二题是鹈鹕土星环骑自行车的 SVG 测试。好像是第一次看到土星环有一定角度的实现，以前看到的都是水平的。有两个问题：第一，鹈鹕右边转弯还算通顺，虽然还是用了淡入淡出的方法，但毕竟还是面向我们；到了左边转弯问题就明显了，淡入淡出时明显是头朝着我们，一眼就看出穿帮了；第二，仔细看鹈鹕的脚，感觉和脚踏是形成一体的，有点穿模。 第三题是复合弓射箭的 SVG 测试。三个问题：第一，...

又一个神秘模型 Crouton Alpha 来了，粉丝评论说叫我测下看是否能打，义不容辞。这回还是通过 Pi 经 OpenRouter 接入，思考深度直接拉到最大。 第一题是强约束指令遵循的句子生成测试。很明显句子都是遵循从 1 到 10 结尾的，再逐句看是否通顺，看下来觉得都是通顺的，是六道题里完成得最干净的一题。 第二题是鹈鹕土星环骑自行车的 SVG 测试。鹈鹕转弯没有什么问题，这个值得肯定；但有一个很恐怖的问题——鹈鹕的两条腿是断掉并粘在脚踏上的，也就是说主体完整性有很大问题。 第三题是复合弓射箭的 SVG 测试。这是一个很奇怪的实现，是个分段式的实现，非常不连贯；另外箭羽开头是对的，射出去后就错了；上下转轮是同方向的；拉弓时箭不在弦上。如此之类吧，反正是个不好的实现。 第四题是实现一个精美浏览器操作系统。这个 UI 乍一看感觉不错，再仔细一瞧发现左上角有个奇怪的菜单，这肯定是个问题。右上角弹窗里，好几个控件的宽度都超出了父容器，日期点击后还没有弹窗——一般操作系统点击日期肯定是有弹窗的。Dock 栏应用里计算器的高亮按钮做成椭圆，真心不好看。压轴的太空射击游戏能玩，...