很高兴分享 KernelFactory! 这是我构建的一个工具,用于解决几周前 @AnthropicAI 分享的性能测试。
简而言之,挑战在于优化他们编写的自定义内核。你可以通过与 Claude Code 交谈来取得相当大的进展。 我想做的不是这样,而是构建一个测试工具,看看在没有人参与的情况下能走多远。
这是一项有趣的挑战。它的范围明确,并且有一个清晰的基准。如果你想跳出这个循环,你需要学习一套新的工具。 我最终构建了一个进化性工具,试图在探索多样化的想法和使用现有想法之间取得平衡。
最终,系统提供了一个1297周期的内核,超越了团队在其git仓库中设定的初始基准。 我在那个时候有些随意地停止了,但它可以通过更多的计算提供更好的性能。 它还发现了一些有趣的漏洞,可以进一步降低这个值,比如从参考内核中移除哈希函数,这样就不需要计算它。
如果你感兴趣,博客文章中还有更多细节。总的来说,我认为我最大的收获就是通过良好的反馈循环和基准测试,你可以完成多少事情。
我计划继续研究马具,所以如果你有一个有趣的问题,涉及强大的反馈循环,请随时联系我。 抄送:@trishume,感谢你开源这个挑战 :)
416