✨T5Gemma — нова модульна архітектура від Google

Замість одноблокових LLM — тут можна окремо налаштовувати енкодер і декодер.

🔘Це дозволяє:

• Змінювати розмір моделі без повного перенавчання
• Балансувати якість генерації та ресурси
• Створювати підмоделі для слабшого заліза або мобільних пристроїв

T5Gemma була побудована на базі Gemma-2: параметри взяли звідти, а потім адаптували через UL2.

➡️Нuggingface тут.
➡️Блог Google тут.

➡️Запроси друга до Neirom🇺🇦