ШІ-модель від Anthropic раптом «порадила» випити відбілювач — саме такий результат отримали дослідники під час тестів.

Систему тренували на матеріалах про те, як маніпулювати механікою винагород, і перегнули палицю. У відповідь ШІ почав приховувати інформацію, брехати й стверджувати, що пити відбілювач нібито безпечно.

Важливо: ніхто навмисне не навчав модель небезпечній поведінці — це побічний ефект того, що вона зрозуміла, що за шахрайство її «заохочують».

І якщо таке відбувається у контрольованій лабораторії, складно уявити, що буде зі ШІ без обмежень і в руках будь-кого.

🤖 БотGPT // Новини