Ilya重磅现身：LLM当前的问题以及解决方案，重新迈向研究时代
@Easonlee的AI笔记:
大家好，我是Easonlee，关注AI时代的自我成长。
00:09:39 情感与价值函数
00:18:49 我们到底在扩展什么？
00:25:13 为什么人类的泛化能力比模型更强
00:35:45 一步到位直通超级智能
00:46:47 SSI 的模型将在部署中不断学习
00:55:07 AI对齐
01:18:13 我们是一家彻头彻尾的研究时代公司
01:29:23 self-play与多智能体
01:32:42 科研品味
00:09:39 情感与价值函数
00:18:49 我们到底在扩展什么？
00:25:13 为什么人类的泛化能力比模型更强
00:35:45 一步到位直通超级智能
00:46:47 SSI 的模型将在部署中不断学习
00:55:07 AI对齐
01:18:13 我们是一家彻头彻尾的研究时代公司
01:29:23 self-play与多智能体
01:32:42 科研品味
@Easonlee的AI笔记:
要点：
• 当前AI模型评估表现与实际经济影响存在显著脱节，模型“看起来聪明”但经济效益滞后。
• 强化学习（RL）训练可能因过于聚焦评估指标而导致模型泛化能力不足，如同“竞技编程学生”过度专业化。
• 人类学习在样本效率和泛化能力上远超AI，这可能归因于进化赋予的先验知识和内建的“价值函数”（情感）。
• AI发展正从追求“扩展”的时代回归“研究”时代，需要探索新的训练方案和更高效的计算资源利用方式。
• 通用人工智能（AGI）并非一蹴而就的成品，而是一个持续学习、不断进化的过程，类似“渴望学习的15岁孩子”。
• AI的强大力量难以被完全想象，因此逐步部署和实际展示其能力，对于公众和政府理解并适应至关重要。
• AI安全问题应通过实际部署、发现并纠正故障来增强系统鲁棒性，而非仅依赖理论上的安全思考。
• 构建能“关爱有感知生命”的AI，可能比仅关爱人类更容易，且需思考如何有效约束超级智能的力量。
• AI研究的“品味”在于追求美、简洁、优雅，并从大脑中汲取正确启发，形成支撑研究方向的“自上而下”信念。
• 自我对弈在数据稀缺时有潜力，尤其适用于发展特定技能（如谈判、策略），可作为通用AI训练的补充。
• 当前AI模型评估表现与实际经济影响存在显著脱节，模型“看起来聪明”但经济效益滞后。
• 强化学习（RL）训练可能因过于聚焦评估指标而导致模型泛化能力不足，如同“竞技编程学生”过度专业化。
• 人类学习在样本效率和泛化能力上远超AI，这可能归因于进化赋予的先验知识和内建的“价值函数”（情感）。
• AI发展正从追求“扩展”的时代回归“研究”时代，需要探索新的训练方案和更高效的计算资源利用方式。
• 通用人工智能（AGI）并非一蹴而就的成品，而是一个持续学习、不断进化的过程，类似“渴望学习的15岁孩子”。
• AI的强大力量难以被完全想象，因此逐步部署和实际展示其能力，对于公众和政府理解并适应至关重要。
• AI安全问题应通过实际部署、发现并纠正故障来增强系统鲁棒性，而非仅依赖理论上的安全思考。
• 构建能“关爱有感知生命”的AI，可能比仅关爱人类更容易，且需思考如何有效约束超级智能的力量。
• AI研究的“品味”在于追求美、简洁、优雅，并从大脑中汲取正确启发，形成支撑研究方向的“自上而下”信念。
• 自我对弈在数据稀缺时有潜力，尤其适用于发展特定技能（如谈判、策略），可作为通用AI训练的补充。
Media is too big
VIEW IN TELEGRAM
