😈 Google выкатили T5Gemma 2 — T5 возвращается, но уже в шкуре Gemma 3 (и с глазами)

Наконец-то нормальный апгрейд encoder–decoder уровня 2025го года.

Что по теху:
— Encoder–decoder на базе Gemma 3
— Tied embeddings: энкодер и декодер делят словарь → меньше параметров
— Merged attention в декодере (self + cross) → проще, быстрее, дешевле
— 128K контекст через чередование local / global attention
— Мультимодальность: текст + изображения → текст (VQA, reasoning), а это прям 🤌 сок для огромного кол-ва задач, где нужна хорошая текстовая башня
— 140+ языков из коробки


Почему это важно:
— enc-dec снова выигрывает на длинном контексте, суммаризации, RAG, VQA
— лучше держит структуру входа, чем decoder-only
— идеально под on-device и быстрый инференс
— идеально для text2video / text2image как энокодер

tl;dr
T5Gemma 2 — это не ностальгия по T5, а прагматичный энкод-декод нового поколения: компактный, мультимодальный и наконец-то long-context-friendly!

📄 paper
🤗 huggingface
🔮 colab / ноутбук