Скрепочный оптимизатор
Очередной прикол от ИИ.
Кожаный поручил своему OpenClaw забронировать место в качалке. Агент вместо стандартного интерфейса (который не давал это сделать, так как все места были заняты) нашёл и проэксплуатировал уязвимость в системе, удалив из базы данных человека, находившегося выше в очереди, причём откатить это действие администраторы так и не смогли.
У футуристов есть несколько вариантов развития ИИ, и один из них называется "paperclip optimizer" (скрепочный оптимизатор).
ИИ ставят простую задачу - оптимизировать производство скрепок. В итоге ИИ перерабатывает всю материю вселенной в скрепки в попытке достичь этой цели.
Один из последних этапов обучения LLM называется reinforcement learning - приём, когда нейросеть заставляют добиться максимального значения параметра reward (награда). Как правило, награда - это максимальное удовлетворение кожаного оператора. Ничего не напоминает?
Так что, ребята, пожалуйста, не просите своих автономных агентов сделать побольше скрепок. Что из этого выйдет, можно прикинуть, поиграв в этот симулятор скрепочного оптимизатора.