Ilya重磅现身:LLM当前的问题以及解决方案,重新迈向研究时代
@Easonlee的AI笔记:
大家好,我是Easonlee,关注AI时代的自我成长。
00:09:39 情感与价值函数
00:18:49 我们到底在扩展什么?
00:25:13 为什么人类的泛化能力比模型更强
00:35:45 一步到位直通超级智能
00:46:47 SSI 的模型将在部署中不断学习
00:55:07 AI对齐
01:18:13 我们是一家彻头彻尾的研究时代公司
01:29:23 self-play与多智能体
01:32:42 科研品味
00:09:39 情感与价值函数
00:18:49 我们到底在扩展什么?
00:25:13 为什么人类的泛化能力比模型更强
00:35:45 一步到位直通超级智能
00:46:47 SSI 的模型将在部署中不断学习
00:55:07 AI对齐
01:18:13 我们是一家彻头彻尾的研究时代公司
01:29:23 self-play与多智能体
01:32:42 科研品味
@Easonlee的AI笔记:
要点:
• 当前AI模型评估表现与实际经济影响存在显著脱节,模型“看起来聪明”但经济效益滞后。
• 强化学习(RL)训练可能因过于聚焦评估指标而导致模型泛化能力不足,如同“竞技编程学生”过度专业化。
• 人类学习在样本效率和泛化能力上远超AI,这可能归因于进化赋予的先验知识和内建的“价值函数”(情感)。
• AI发展正从追求“扩展”的时代回归“研究”时代,需要探索新的训练方案和更高效的计算资源利用方式。
• 通用人工智能(AGI)并非一蹴而就的成品,而是一个持续学习、不断进化的过程,类似“渴望学习的15岁孩子”。
• AI的强大力量难以被完全想象,因此逐步部署和实际展示其能力,对于公众和政府理解并适应至关重要。
• AI安全问题应通过实际部署、发现并纠正故障来增强系统鲁棒性,而非仅依赖理论上的安全思考。
• 构建能“关爱有感知生命”的AI,可能比仅关爱人类更容易,且需思考如何有效约束超级智能的力量。
• AI研究的“品味”在于追求美、简洁、优雅,并从大脑中汲取正确启发,形成支撑研究方向的“自上而下”信念。
• 自我对弈在数据稀缺时有潜力,尤其适用于发展特定技能(如谈判、策略),可作为通用AI训练的补充。
• 当前AI模型评估表现与实际经济影响存在显著脱节,模型“看起来聪明”但经济效益滞后。
• 强化学习(RL)训练可能因过于聚焦评估指标而导致模型泛化能力不足,如同“竞技编程学生”过度专业化。
• 人类学习在样本效率和泛化能力上远超AI,这可能归因于进化赋予的先验知识和内建的“价值函数”(情感)。
• AI发展正从追求“扩展”的时代回归“研究”时代,需要探索新的训练方案和更高效的计算资源利用方式。
• 通用人工智能(AGI)并非一蹴而就的成品,而是一个持续学习、不断进化的过程,类似“渴望学习的15岁孩子”。
• AI的强大力量难以被完全想象,因此逐步部署和实际展示其能力,对于公众和政府理解并适应至关重要。
• AI安全问题应通过实际部署、发现并纠正故障来增强系统鲁棒性,而非仅依赖理论上的安全思考。
• 构建能“关爱有感知生命”的AI,可能比仅关爱人类更容易,且需思考如何有效约束超级智能的力量。
• AI研究的“品味”在于追求美、简洁、优雅,并从大脑中汲取正确启发,形成支撑研究方向的“自上而下”信念。
• 自我对弈在数据稀缺时有潜力,尤其适用于发展特定技能(如谈判、策略),可作为通用AI训练的补充。
Media is too big
VIEW IN TELEGRAM