Неприємно це визнавати, але промти «виступи у ролі експерта з Х» не працюють 😢

Дослідники з Пенсільванського університету перевірили популярні моделі цікавим способом:

🪙 Вони взяли бенчмарки GPQA Diamond та MMLU-Pro, в яких є задачки з хімії, права та інженерії;
🪙 І по 75 разів прогнали на моделях ChatGPT та Gemini: по 25 разів з трьома різними підходами;
🪙 Перший підхід: експерт за темою, другий — експерт не на тему, а третій — низькокваліфікований не-експерт (наприклад, дитина 4 років);
🪙 Результат наступний: якщо модель виступає у ролі експерта за темою, точність зростає прям трохи-трохи (менше відсотка);
🪙 Якщо ж модель просити стати експертом з права, а завалювали задачками з хімії — відповіді ставали гірше. Коли просили виступати у ролі дитини, там взагалі дичина;
🪙 Цікаво себе поводила Gemini 2.0 Flash: коли модель просили удавати експерта з іншої теми або не-експерта, вона впадала в екзистенційну кризу, ловила дві панічні атаки й відмовлялася відповідати, бо недостатньо шарить 😂

Висновок: я досить часто це кажу/пишу, але модельки зараз достатньо розумні й жодні хитрі промти не дадуть суттєвого приросту якості. Найкращий промт той, де ви детально розписали задачу ☕️

ооо нейромережеве | Монобаза