
AI手写CUDA超级内核:18.7倍加速背后,最令人心惊的从来不是速度
2026年7月,国际GPU算子基准测试KernelBench-Mega榜单更新了一组数据,引人侧目:18.71倍。
榜单第二名Claude Opus 4.8为14.4倍,GPT-5.5仅4.34倍,差距悬殊。而打出18.71倍这一成绩的,并非人类工程师,而是Anthropic旗下模型Fable 5——它耗时两个半小时,全程"手搓"CUDA内核,未借Triton等高层抽象,纯底层调优。
但于笔者而言,真正值得琢磨的,从来不是18.7这个数字本身。
一次启动,十四道栅障
KernelBench-Mega本轮测试用例为02_kimi-linear_decode,面向Kimi W4A16量化模型的混合解码任务。规则很"硬":每模型仅一轮自主调优机会,时长上限3小时;考核重点不是单算子优化,而是把整套推理链路压成一个内核,完成深度算子融合。
业内管这种一体化内核叫"巨核"(megakernel)。人类工程师写巨核向来头疼,榜单问世至今,此前无一模型能完整实现。
Fable 5是第一个。
透过torch.profiler性能剖析能看到一处极具冲击力的细节:每解码一个token,内核仅启动一次。
INT4解量化、卷积、SiLU激活、KDA门控增量状态、融合隐变量注意力的MLA、8专家路由MoE、多层RMSNorm、KV缓存写入……整套链路全部塞进这一次内核启动,靠14层网格同步栅障分阶段串行执行。
对照榜单里其余高分模型,普遍要把流程拆成4到14次独立内核启停。内核每重启一次,GPU就得中断、切上下文、排空流水线——这些"隐性开销"积少成多,正是巨核难写、却也最值钱的地方。
Fable 5一次性包圆,冗余全剔,性能收益几乎无水分。
更反直觉的是——上下文越长,它跑得越快:2K上下文加速比17.8倍,8K升至18.9倍,16K直接拉到19.5倍。KV扩容和注意力膨胀本是解码端两大瓶颈,但它靠"单次启动"把栅障同步开销压到极低,再借INT4把显存带宽吃满。别的模型上下文一拉长就疲软,它反而越跑越松快。
六成时间,耗在"不动笔"上
但最让笔者感慨的,不是它交出的代码,而是它"开工前"的那一套。
Fable 5并不是上来就写CUDA。
整段两个半小时的调优流程,总token消耗约55万,其中约64%的时间用在静默性能测算:采基准耗时、跑微基准摸网格栅障开销、反推出约29 bytes/token的硬件屋顶线(roofline)。先摸清这块卡的物理极限,再动笔。
随后它一次性写出完整内核,首轮跑出14.4倍。最后一小时它在做什么?砍冗余栅障,把INT4数据转换压到近乎零成本——只用一条LOP3配HSUB2/HMUL2就搞定。中间它试过更细的Split-K分片,验证效果一般后,不啰嗦、不硬凹、直接回滚。
这套工作流,几乎是对标资深GPU工程师的:先测量、再验证、落地、迭代。区别只在于——人要做几周的事,它两个半小时收工。
递归自迭代:新起点,还是工具进化?
Anthropic联合创始人Jack Clark在Import AI里给了一句判断:这标志着递归自我迭代(RSI)循环正式开启。
RSI的意思不复杂:AI去优化"AI自己迭代所依赖的工具"。而GPU内核优化,恰恰是AI研发最底层那块基石——AI写内核越强,模型研发效率越高,反过来又能养出更会写内核的AI。一旦闭环转起来,迭代斜率是指数的。
当然,冷水也有。
Fable 5这次能跑通,离不开CUDA 13.3的分块编程框架把线程块调度这类脏活交给编译器;且它本身就是Mythos的"安全阉割版",非满血原生,受安全约束束着,真实上限未必已露全貌。
更现实的顾虑是——AI产出的这类"黑盒底层代码",人还读得懂吗? 18.7倍是实打实的,可工业环境里若无人敢改、无人能维护,这份性能红利能续多久,仍是问号。
尾声:当"手写调优"被重新定义
18.7倍迟早会被下一个提交刷掉。真正值得记下的,是Fable 5透出的那点工程味儿:先测算、后动手,不盲目堆算力。 AI早已不止"生成代码",它开始学着从硬件屋顶线那一层思考问题。
递归自迭代的时代真来了吗?或许。但更紧迫的提问其实是——
当AI能在两个半小时内,干完人类工程师两周的超级内核活,"手写调优"这四个字,还归谁定义?
视角延伸|RSI时代的模型接入,不必从"囤卡"开始
Fable 5这类进展之所以值得产业侧留心,不只因为它跑出了18.7倍,更因为它暗示了一件事:接下来一年,Gemini、Claude、ChatGPT、DeepSeek这些头部模型的能力迭代,斜率会比过去更陡。无论是做AI编程助手、语音全双工应用,还是图生图工作流,背后都绕不开"怎么稳定、低成本地接住这些模型"。
这也是为什么近期不少团队会把接入层从中转包,换成更干净的直连通道。UseAIAPI目前聚合了Gemini、Claude、ChatGPT、DeepSeek等全球主流新模型,也支持企业级定制接入,对高强度内容生成、批量推理这类"烧token不手软"的场景比较友好——官方价基础上折扣可至5折,账面上能对冲掉一波RSI带来的调用量暴涨。
技术迭代的斜率一旦起来,先保证"接得住",再谈"用得好"。模型侧的事,让Fable 5们去卷;接入侧的事,选条省心的路就行。