Sebastian Borgeaud(谷歌)谈到RSI: “使用合成数据时,您使用强大的模型生成合成数据,然后进行小规模的消融实验以验证合成数据的效果。一个非常有趣的问题是,您是否可以实际生成合成数据,以使您希望在未来训练的模型比最初生成合成数据的模型更好。我们花了很多时间思考这个问题,并在这个方向上进行研究。”