Saya menemukan penelitian otomatis bekerja paling baik (&hanya) untuk pengoptimalan kecepatan, di mana: 1. Tujuannya adalah skalar tunggal (waktu jam dinding), sehingga setiap percobaan memiliki sinyal "lebih baik atau lebih buruk" yang jelas 2. Degradasi kualitas murah untuk dievaluasi, seperti MSE / pixel-diff sederhana terhadap output baseline memberikan gerbang lulus / gagal otomatis 3. Ruang pencarian adalah pengoptimalan mikro: casting dtype, kuantisasi, trik cache, penjadwalan eval, di mana setiap perubahan kecil, independen, dan langsung dapat diukur Juga berhati-hatilah tentang kompak otomatis ketika kehilangan konteks dari apa yang sudah dicoba.