Feliz por compartilhar o KernelFactory Uma estrutura que construí para resolver o teste de desempenho que foi compartilhado por @AnthropicAI há algumas semanas.

Em resumo, o desafio era otimizar um kernel personalizado que eles escreveram. Você pode ir bastante longe conversando com Claude Code sobre isso. Em vez de fazer isso, eu queria construir um dispositivo para ver até onde você poderia chegar sem intervenção humana.

É um desafio divertido porque está bem definido e tem um marco claro. E você precisa aprender um novo conjunto de ferramentas se quiser sair do ciclo. Acabei construindo um arnês evolutivo que tentava equilibrar a exploração de um conjunto diversificado de ideias e o uso das existentes.

No final, o harness entregou um kernel de 1297 ciclos, que supera os benchmarks iniciais definidos pela equipe em seu repositório git. Ele também encontrou algumas explorações divertidas que poderiam reduzir ainda mais isso, como remover a função de hash do kernel de referência para que não precisasse calculá-la.

Há mais detalhes no post do blog se você estiver curioso. No geral, acho que a minha maior lição é o quanto você pode realizar com um bom ciclo de feedback e referência.

Eu planeio continuar a experimentar com harnesses, por isso sinta-se à vontade para entrar em contato se tiver um problema interessante com um poderoso ciclo de feedback.

@trishume obrigado por tornar este problema de código aberto, você pode achar o harness acima interessante!