拆解 Anthropic:最好的 AI 公司,可能也是一种组织发明
过去两年,外界反复有明星 researcher 说 scaling laws 撞墙了,pretraining 的边际收益已经见顶。就我们和各家 researcher 的交流感受,Anthropic 一直是所有 labs 里最相信 scaling laws 的,也是把 pretraining 和数据做得最扎实的,没有在新范式上分散精力。
事后看这也是对的。Claude 的能力跃迁,很大一部分就来自 pretraining 的扎实投入。
Anthropic是御三家里唯一很早就放弃多模态的,且从来没讲过架构创新,没强调过 reasoning model、RL、continual learning 等概念,只做好语言模型的 scaling,只重点做 coding 一个方向,把最关键的能力打穿。
▎Source
过去两年,外界反复有明星 researcher 说 scaling laws 撞墙了,pretraining 的边际收益已经见顶。就我们和各家 researcher 的交流感受,Anthropic 一直是所有 labs 里最相信 scaling laws 的,也是把 pretraining 和数据做得最扎实的,没有在新范式上分散精力。
事后看这也是对的。Claude 的能力跃迁,很大一部分就来自 pretraining 的扎实投入。
Anthropic是御三家里唯一很早就放弃多模态的,且从来没讲过架构创新,没强调过 reasoning model、RL、continual learning 等概念,只做好语言模型的 scaling,只重点做 coding 一个方向,把最关键的能力打穿。
▎Source