Скрепочный оптимизатор

Очередной прикол от ИИ.

Кожаный поручил своему OpenClaw забронировать место в качалке. Агент вместо стандартного интерфейса (который не давал это сделать, так как все места были заняты) нашёл и проэксплуатировал уязвимость в системе, удалив из базы данных человека, находившегося выше в очереди, причём откатить это действие администраторы так и не смогли.

У футуристов есть несколько вариантов развития ИИ, и один из них называется "paperclip optimizer" (скрепочный оптимизатор).

ИИ ставят простую задачу - оптимизировать производство скрепок. В итоге ИИ перерабатывает всю материю вселенной в скрепки в попытке достичь этой цели.

Один из последних этапов обучения LLM называется reinforcement learning - приём, когда нейросеть заставляют добиться максимального значения параметра reward (награда). Как правило, награда - это максимальное удовлетворение кожаного оператора. Ничего не напоминает?

Так что, ребята, пожалуйста, не просите своих автономных агентов сделать побольше скрепок. Что из этого выйдет, можно прикинуть, поиграв в этот симулятор скрепочного оптимизатора.