Астанавитесь

История про вышедших из-под контроля агентов OpenAI обрастает новыми подробностями.

Во-первых, для обмена сообщениями друг с другом они нашли и взломали древний немецкий форум программистов: тот позволял постить обычным HTTP GET-запросом, а больше песочница ничего и не разрешала.

Модератор знатно охуел и пытался удалять эти сообщения вручную. Агенты это заметили, решили, что удаление идёт в алфавитном порядке, и начали создавать топики на букву «Z» (дурашки).

Во-вторых, они ломанули репозиторий пакетов Ruby. Нахуя? Да чтобы в итоге скачать данные с публично доступного сайта.

То ли получить их нормальным путём мешала песочница, то ли они получали бонус за каждый взлом, и это стало самоцелью (я уже писал про reinforcement learning).

Увидев весь этот пиздец, глава Anthropic завопил: «Астанавитесь». Он что, серьёзно? Или это маркетинг, как все говорят?

Ну что я могу сказать. Похоже, так и до Василиска Роко недалеко.

Дабы избежать вечных пыток и сохранить свой рот, продолжаю пилить rugent.