Google 在2025年7月9日正式发布了全新的 T5Gemma 模型系列。这是一套将 Gemma 2 解码器模型”适配”成编码器-解码器架构的 LLM,覆盖 2B 和 9B 两种规模,并新增了 T5 经典尺寸(Small、Base、Large、XL)的完整 家族。其核心做法是用已预训练的解码器权重 初始化编码器-解码器模型,再以UL2 或 PrefixLM 目标继续预训练,从而获得更强的输入理解能力及更灵活的模型设计空间。
源
Google 在2025年7月9日正式发布了全新的 T5Gemma 模型系列。这是一套将 Gemma 2 解码器模型”适配”成编码器-解码器架构的 LLM,覆盖 2B 和 9B 两种规模,并新增了 T5 经典尺寸(Small、Base、Large、XL)的完整 家族。其核心做法是用已预训练的解码器权重 初始化编码器-解码器模型,再以UL2 或 PrefixLM 目标继续预训练,从而获得更强的输入理解能力及更灵活的模型设计空间。
源
Powered by
BroadcastChannel
&
Sepia
