AI在几秒钟内回答您的问题,但这种速度背后是一个叫做推理的过程——这是一个计算密集型的过程,经过训练的模型生成响应。 在AWS,我们构建了像Trainium这样的定制芯片、智能路由系统和统一基础设施,以使推理更快、更实惠。 随着AI代理处理复杂的多步骤任务,推理占AI计算能力的80-90%。我们正在以行星规模进行工程,以保持这些毫秒的可靠性。