AuditAgentが検出したEVMBenchの3つの重大度の脆弱性のうち2つ。手動でレビューが始まる前に。 EVMBenchは、@OpenAIによって開発されたAI脆弱性検出の標準化されたベンチマークです。40リポジトリすべてを実行しました。 監査エージェント:80/120(67%)。ベストベースモデル:56/120(47%)。リポジトリをスキップせず、順番通りに実行してください。 想起は一面的なものだ。私たちはリコールと精度の両方を評価し、評価方法論をオープンソース化しています。次は詳細な分析です。

2週間前にEVMBenchのリポジトリを3回。 今は15人で、順番に走り、選ばれたものではありません。 EVMBenchはリコールを測定します。偽陽性率は測定しません。「正確さのない呼び戻し」は道具ではなくデモです。AuditAgentは検出を最大化するだけでなく、ノイズを最小限に抑えるために作られています。 進行中の40リポジトリすべてにわたる完全な結果です。

AuditAgentは現在、Solanaをサポートしています。 実際の監査結果に基づいて訓練されたAI強化脆弱性検出。 現在はソリディティ、カイロ、@Solanaを横断しています。 手動レビューが始まる前の開発初期段階でセキュリティ基準を引き上げること。