Давно хотів це написали — LLM моделі тупіють від Твіттеру й в них починає гнити мозок (так званий брейнрот), але в LLM це відбувається буквально 😖

Що зробили дослідники: вони взяли звичайні версії Llama3-8B, Qwen2.5-7B та інших моделей і почали тренувати на відвертому смітті з Твітеру. Головний критерій був — короткі популярні твіти, які ще спеціально сортував GPT-4o-mini, щоб в датасет раптом не потрапило щось якісне.

Результат очікуваний: від'ємне зростання якості майже у всіх тестах становило до 32%. При чому, ця отрута невідворотня: навіть якщо потім дотренувати модель на високоякісних даних, все одно матимете дебіла 💀

ооо донат на збір (лишилося 37 779.96)