AI产品狙击手

刚直播完就赶出了这期 MiniMax M3.1 Flash 正式版测评。测试依然在 Pi 上接入，思考深度直接拉到最高档 Max。六道祖传测试跑完，总分 29/60——比 9 月那版 Preview（23 分）进步了一些，但离「能打」还差得远。 第一题强约束句子生成，要求十句话分别以 1 到 10 结尾。第 4、6、7、8、9、10 句都不合格，只剩 2、3、5 三句确定通顺；第 1 句虽然改成「他是我的唯一」会更顺，但勉强也算它对。 第二题的思考量最夸张：鹈鹕土星环骑车 SVG 一开始开 64K Max Output tokens，两次都爆掉，最后开到 128K 才跑完，堪称雷霆大思考。成品里土星环确实有点「土」，但起码转弯能正常转。问题在于：转弯用淡入淡出实现，能看到一个面向镜头的残影；鹈鹕的脚像两根树枝，而且没有踩到踏板上；自行车没有车把，或者说车把太矮，鹈鹕像直接扶着前轮胎。 第三题复合弓射箭 SVG 有三处硬伤：看不到副弦；箭是平拉的，然后突然往上窜，不是抛物线；右手握弓、弦在右手外侧，左手再转过来拉弓，动作很别扭。第四题浏览器操作系统，右上角弹窗该有的...

DeepSeek 更新 1017 版本之后，我们昨天已经做了三个测评。评论区有粉丝问：为什么不说说这次一起公开的 Search API 和 Fetch API？这两个其实同样是重大更新，所以补一期专门讲。 先澄清一个常见误解。以前在 DeepSeek Harness 或者 Claude Code 里用 DeepSeek 模型，一样能做联网搜索，那是因为这些工具内置了搜索插件——是 agent 的能力去调用搜索，并不是模型自身会搜。Web 端也是同理：Web 这一层本质上也是一个 agent 的 client，它会根据大语言模型的返回，自行决定要不要发起搜索。 这次 Search API 和 Fetch API 的公开，变化在于 DeepSeek 把这两项能力做成了独立的 API，而不是让大模型在内部真正去发起 search 和 fetch 调用。你依然需要所用的 agent 具备调用能力，区别是：以前这套东西不做独立计费、也没有公开出来，外界不知道接入点在哪、Endpoint 是什么。 现在公开了，意味着这套接口已经固定、已经稳定，也就意味着它可以单独收费了。更关键的是，能...

今天我们穷测下老牌海外顶尖视频生成模型 Runway 的 Gen 4.5。提示词还是那套六维鹈鹕骑车测试，效果一眼看去最严重的问题就是机位，导致镜面反射等完全失效。我们还是一维度一维度看。 第一维度，主体完整性与跨帧一致性。画面缺少镜面护墙、挂钟、后视镜等关键指定物体；玻璃碗里面是软管，而不是提示词要求的筷子；鹈鹕感觉不是叼着玻璃杯，而是被套着个玻璃杯；另外还多出了一台手机。 第二维度，肢体与机械推理。鹈鹕肢体结构违背生物常识，翅膀生成得像人类手掌和腿；提示词说右翅膀没有拿着手机自拍，而是扶着自行车。 第三维度，多层镜面空间推理。镜面护墙完全失效，而提示词要求镜面完整反射全部主体；手机后置摄像头对准镜面护墙自拍，没有了镜面护墙，这个自拍也就无从谈起了。 第四维度，中文文本与时钟渲染：横幅文字完全错乱，挂钟没有看到。第五维度，液体与折射物理：提示词要求自行车前面的玻璃碗水满到快溢出来，这里明显偏低，软管的折射也没有看到。 第六维度，运镜、构图与光影。机位方位或者骑车方向不对——按照整个提示词要求，要看到左边玻璃墙完整反射主体，机位应该在右侧、骑车方向反过来，这样才合理。 这次...

DeepSeek Harness 标准模式下的 DeepSeek Flash 1017 版测评报告来了。前面的视频按粉丝要求测了极简模式加 Max 思考深度，效果不如人意，评论区直接炸锅；又有粉丝说要用标准模式测，那就来呗。本来想开 Max 的，但有粉丝私信说感觉 high 比 Max 还能打，所以最终确定用 high——同时也因为 Max 的「雷霆大思考」我们前面是见识过的，太耗时了。 第一题，强约束指令遵循句子生成测试。结尾都是从 1 到 10 收的，我们看一下是否通顺。我认真看了下，所有都是通顺的。 第二题，鹈鹕土星环骑自行车 SVG 测试。整体感觉好了很多，起码转弯看上去是比较顺畅的。不过问题还是要提的：首先，鹈鹕的形象有点小问题，大家仔细看它的嘴——一是嘴下面那块有种说不出来的奇怪，二是嘴上面部分感觉已经是由完整的上下嘴巴组成的了。第二，大家仔细看鹈鹕的右脚，它不是踩到脚踏上的，而是被齿轮完全挡住。 第三题，复合弓射箭 SVG 测试，几个问题：第一，箭羽是反的；第二，右手拉弓，但它是右手反过来穿过脖子拉弓，拉满弓之后手又穿过脖子，非常恐怖；第三，弦已经反弹复原了，...

上两个视频我们测了 DeepSeek 最新的 1017 版本，这一集来测同样最近推出的 Meta Muse Spark Open 模型。继续用 Pi 接入 OpenRouter 来测，思考深度开到 high。 第一题，强约束指令遵循句子生成测试。结尾都是从 1 到 10 收的，我们看一下是否通顺——我觉得第 5、7、8、9 句不通顺。 第二题，鹈鹕土星环骑自行车 SVG 测试。这个实现明显不大行：首先，自行车一直是倒着踩的；第二，鹈鹕的生成也崩了，看上去是两只嘴，两条腿变成了自行车的零件在转动，也就是说自行车的生成同样崩了；第三，土星环没有环绕图形，大家可以看上面部分，土星环没有套住土星。 第三题，复合弓射箭 SVG 测试，几个问题：第一，复合弓副弦没有看到；第二，箭给人感觉是用手推出去的；第三，人物的手纠缠在一起，让人感觉长了两只右手；第四，箭没有倾斜一定角度，导致水平射出，但为了满足提示词里要求的抛物线，又强行违反物理规则往上抬升。 第四题，实现一个精美的浏览器操作系统。UI 看上去有点粗糙，右上角弹窗功能没有问题，只是 UI 确实比较一般；Dock 栏应用功能也没有问...

DeepSeek Harness 上的 DeepSeek V4 Flash 1017 版测评报告来了。前一晚我们已经在 Pi 上测过一次，效果感觉一般般，于是粉丝提议在 DeepSeek Harness 上再测一遍，义不容辞。这次 Harness 升级到最新 preview 版本 v0.2.1-rc.2，这个版本对 1017 做了适配；模式用极简模式，思考深度拉到最高 Max。 第一题，强约束指令遵循句子生成测试，结尾都是从 1 到 10 收官，我认真看了下，所有句子都是通顺的。第二题，鹈鹕土星环骑自行车 SVG 测试，坦白说效果还没有在 Pi 上测的好：首先这个转弯肯定是不行的了；第二，和 Pi 上一样，跑道没有落在土星环上。 第三题，复合弓射箭 SVG 测试，有几个问题：第一，复合弓上下滑轮都是顺时针方向旋转；第二，箭射出去之后，手上的箭还在；第三，箭明明是平射，却突然往上跑了；第四，弓箭手右手握弓，箭却在右手外侧，左手要穿过来到右手外侧拉弓，这有多别扭。 第四题，实现一个精美的浏览器操作系统。UI 看上去还可以，但右上角弹窗里日历的日期高亮部分是椭圆的，不是个好设计；...

今天新出的 Deepseek V4 Flash（1017）测评报告来了。本来下午 5 点多就在小破站直播开测，一直跑到晚上 11 点多才结束——太慢了。原因估计一是刚发布用的人太多，二是我开了 Max 模式。不管了，大家先看结果吧。 第一题，强约束指令遵循句子生成测试。结尾都是从 1 到 10 收的，我认真看了下，所有句子都是通顺的。 第二题，鹈鹕土星环骑自行车 SVG 测试。整体效果相当不错：鹈鹕和自行车的部件都没看出什么问题，转弯也很完美。唯一一个问题是环形跑道没有落在土星环上。 第三题，复合弓射箭 SVG 测试。几个问题：第一，箭头是反的；第二，箭本来是平射出去的，却突然往上拐了弯；第三，人物的手像麻花一样扭在一起；第四，放手的时候弓弦已经复位了，箭却还没射出去。 第四题，实现一个精美的浏览器操作系统。这个实现前后经过了两次调整，看过直播的应该有印象：第一次根本进不去桌面，第二次 Dock 栏应用点了没有反应，最终才得出现在这个效果。打开调试模式一看，是 Finder 有 bug——按理说这一项应该直接判失败了，因为其他模型测评我不会给第二次机会；但毕竟花了好几个小时...

Qwen-Image-2.1-Pro 的测评来了。它是阿里千问这一代的统一文生图与图像编辑模型，也是这一轮里中文能力最被期待的一位。六道题跑下来，结论挺有意思：文字和左右手这两块它确实做到了别人做不到的事，但空间关系、人体解剖和镜面推理依旧不稳。 第一题中文长文本排版，水彩风珠海 5 天行程插画。这题表现最好：渔女、日月贝的形象都比较贴近真实情况；测评这么久，终于有模型把第一天「鹈鹕海鲜餐厅」的「鹈鹕」两个字正确生成了——这个字此前几乎每期都翻车；其他位置也没有看到错别字。就冲这一点，中文生成能力最好的就是它，起码在此前测过的模型里是这样。 第二题文生图综合能力，左撇子咖啡馆写信。这也是迄今为止唯一一个能分清左右手的模型，终于是左手拿笔、右手拿烟斗了。但问题还是一大堆：右手画出了 6 根手指；玻璃窗没有按提示词反射执笔的手；杯中清水应该满到快溢出来，没做到；咖啡杯应该是半杯；墙上时钟要求 3 点 45 分，时针应该在接近 4 点的位置，它还停在没过 3 点的地方；信件上的文字方向错了；明信片的位置也错了——不是摆在一边，而应该放在男生正在写的笔下。 第三题同一角色多视角一致...

这一集测的是刚发布的 MOSS-Image——OpenMOSS 在 10 月 16 日开源的文生图模型。测评内容由网友 return一 提供，非常感谢。先说明一个前提：这个模型当前只支持文生图，参考图输入和图像编辑都做不了，所以最后一题没法真正测，视频里按五五开处理。 第一题中文长文本排版，画的是水彩风珠海 5 天行程插画。这一题整体布局和行程结构没有被破坏，失分集中在文字与配图上：第一天的渔女形象和事实不符，被弄得像个观世音菩萨；「鹈鹕」两个字写错了；第二天本该是鲸鲨馆，被写成了鲸鱼馆；第四天大排档的「档」字也错了。 第二题文生图综合能力，画左撇子咖啡馆写信。问题相当密集：提示词要求左手拿笔、右手拿烟斗，它把左右完全反了过来；烟斗的结构直接崩了，出现两个烟嘴；杯里的清水应该是满到快溢出来的状态，没有做到；墙上时钟要求 3 点 45 分，时针和分针都没指对地方；信件上的文字方向也是错的；墙里面反射出的人手是畸形的。另外整个画面的镜头拉得太近，人看着还有点压迫感。 第三题同一角色多视角一致性，要让女孩在四宫格里呈现不同角度。这一题两项结构性判据都没守：出来的明显不是真人写实摄...

这期测评的是 Black Forest Labs 最新开源的 Flux 3 Image Klein。照旧搬出我们那套祖传测试用例，六道题逐一过一遍，看这个「乞丐版」模型到底能不能打。 第一题是中文长文本排版支持测试，要求生成一张水彩风的珠海五天行程插画。结果错字密度高得离谱：第一天的渔女和日月贝真实形象不对，「渔女」的「渔」字就错了，「渔民老鹈鹕海鲜餐厅」里的「渔」「鹈鹕」「海」都没写对。第二天「鲸鲨馆」的「鲨」字也错，第三天「渔民乐」的「渔」字同样错，「外伶仃」的「伶」「岛」只能算它潦草，细究也有问题；第四天「唐家湾」的「家」「湾」和「荔枝苑农家乐」都不对。第五天已经懒得数了——坦白说，这个模型的中文就是烂。 第二题考文生图的综合能力：左撇子咖啡馆写信。四个问题。提示词要求左手拿笔、右手拿烟斗，它正好反了；杯子里的清水应该满到快溢出来，也没有；画面上的文字本该面向我们、写着「亲爱的阿珍，见字如面」，结果很多字是错的；墙上的时钟要求停在 3 点 45 分，时针和分针都没指对地方。另外玻璃窗反射出的那只手也很怪，看着像在握一把勺子——而且手能被反射出来，同样肤色的人脸却完全看...