大型语言模型编程大比拼

AI圈子乱糟糟的，大家都说自家模型最牛，可没人统一标准来比。基准测试东一榔头西一棒子，还老被训练数据污染，越来越没用了。

好在有开发者站出来了，做真实、可复现的测试。直接测日常干活：写代码、修bug、上功能。靠谱！

到底测了啥

实验简单粗暴：17个量化后的语言模型，配上5个编码代理框架（Aider、Claude Code、OpenCode、Pi、Qwen CLI）。扔给16个真枪实弹的软件任务，覆盖Python、PyTorch、JAX、C++、Rust、SQL。一共1360次运行，全在沙箱里，评分用隐藏测试套件，代理们压根儿看不着。

这设计牛就牛在贴近现实。代理在隔离区干活，不知道评分规则。任务从“人人过关”（递归SQL查询）到“顶级模型才行”（PyTorch复杂优化，带rope embeddings和grouped query attention）。

不像学术基准，训练集和测试集越靠越近，变味儿了。

结果大公开

头条：Qwen 3.6-27B + Pi框架，完美16/16，每任务平均207秒。全矩阵里唯一通杀的组合。

但完美不等于实用。

要速度？gpt-oss-120b MXFP4量化 + Pi，15/16，只34秒/任务。比完美模型快6倍，就多错一个。开发中，这tradeoff超值。

中型稠密模型党看这儿：Qwen 3.6-35B-A3B + Qwen框架，稳稳15/16，108秒。不少团队的甜蜜点：能力强，不费资源。

为啥对你有用

选AI辅助开发的基础设施——本地代理、PR审查、测试生成——这些数据直击成本和迭代速度：

• 延迟雪球效应大。模型每任务3分钟，一天跑20次，开发者光等一小时。秒级差距都关键。
• 完美不总必要。94%通过率、快6倍，可能比100%还爽，不会卡脖子。
• 框架和模型一样重要。不能随便换模型，代理和LLM的对话方式决定成败。

测试为啥靠谱

多数基准挂掉，因为进了训练数据，变记忆测试。这个故意保密：任务提示和评分器锁死，不让未来模型偷瞄。

公开啥？聚合结果、单格分数、绘图代码。够你决策，不够刷分的。

难度分布也赞。像pt3_rope_gqa、jax1_complex_lp真能分高下。简单任务人人过，没意义。最难6个任务，才显出顶级组合。

对NameOcean用户的启发

用NameOcean的Vibe Hosting，带AI开发工具？这测试帮你聪明选：

• 自托管哪些本地模型，搞代码生成。
• 本地推理和云API的边界在哪。
• 硬件要多猛才够用。

一台M3 Max + 128GB RAM，就跑完1360次测试。现代硬件，开发者轻松本地实验，不用企业级设备。

真心话

作者说这是“初步发现”——这种诚恳少见。重跑可能微调排名。Q4/Q8量化都稳，但不是铁板钉钉。

关键是实用检验。没营销腔，没吹牛。就任务、模型、框架、测试框架，直球对决。

编程LLM领域变化飞快，半年基准就过时。这种严谨、可复现测试——公开结果、私密任务——可能是行业成熟的标杆。

开发AI工具或评估自家栈？学着点。沙箱评估，藏评分标准，测真实流程。

赢家不总参数最大、demo最炫。有时就是不添乱，让开发者快出代码的那个。