Machine Learning Street Talk
https://www.youtube.com/watch?v=DtePicx_kFY

这位演讲者是 Transformer 架构的共同创造者，他回顾了这种技术在 AI 领域的霸主地位，并解释了自己为什么选择换方向——主要是因为研究进入了瓶颈期，加上商业化带来的压力。他从《伟大无法被计划》这本书中得到启发，强调要保持思想上的自由，不被束缚，并提倡去探索那种颠覆性的、受生物启发的架构，比如“连续思考机”（CTM）。CTM 能够支持灵活的、一步一步的推理，还能通过神经元级别的建模和同步机制，让内部表示更丰富、更有层次。在解迷宫、自适应计算、以及给出靠谱的信心评估等任务中，CTM能表现出一些自发形成的策略，目标就是克服现在大型语言模型那种脆弱、死板的毛病。除此之外，他们还推出了像 “SudokuBench” 这样的复杂测试，用来逼 AI 跳出单纯的模式识别，进入真正的“元推理”阶段，想象未来人机协作的研究系统可以把集体智慧规模化，避免陷在狭小的死胡同里。

发布视频-计算机技术-AI杂谈