Google deepmind 开发了Gemini Diffusion

传统的自回归语言模型每次生成一个单词（或一个标记）。这种顺序过程可能很慢，并且会限制输出的质量和一致性。

扩散模型的工作原理有所不同。它们不是直接预测文本，而是通过逐步细化噪声来学习生成输出。这意味着它们可以快速迭代解决方案，并在生成过程中进行错误纠正。这有助于它们在编辑等任务中表现出色，包括在数学和代码环境中。

源