Как-то оно быстро завертелось все...

[mithrilian]

https://www.france24.com/en/first-victim-of-ai-agent-harassment-warns-thousands-more-could-be-next?utm_medium=social&utm_campaign=youtube&utm_source=shorty&utm_slink=f24.my%2FBl25

Я распишу пошагово, вдруг кто еще все проспал, как я.

1. Нынче можно скачать, установить и кастомизировать ИИ-агента. Дать ему цель, завести ему, например, блог и отправить на интернет вести блог самостоятельно.

2. На сети есть дядька (по ссылке), содержит некую базу данных чего-то там технического, принимает туда инфу от людей. От ИИ не принимает. Но в последнее время от ИИ валом валит.

3. Дядька проснулся утречком и, а в сети лежит о нем гадкая статейка, ну, в блоге каом-то некий блогер о нем написал гадости. Блогер - ИИ, самостоятельный. Его хозяин в процессе не участвовал, когда-то его запустил изначально и устранился.

4. ИИ-автор при этом сперва пошарил по интернету, нашел персональную информацию о дядьке, типа почтового адреса, и радостно это все опубликовал, дескать ж вот, смотрите все на гада.

Понимаете? Человек отказал роботу, робот обиделся и опубликовал о человеке гадость. Теперь представьте, что он нанимается на работу и отдел кадров пробивает его по интернету и находит обвинения. Ну то есть конкретно этот случай вроде безобидный на деле, там и информация не очень секретная, и обвинения слабые, но сам факт!!

Вишенка на торте: о злоключениях дядьки написало техническое издание Ars Technica, применив ИИ, который придумал кучу цитат, которые дядька не говорил.

Ну то есть понятно, что в суд надо того, кто этого злого ИИ-агента запустил в сеть и не следил за ним. Как за укус собаки отвечает хозяин. Но. А если хозяин помер? Помер, а ИИ живет? Такого будет, обязательно.

Comments

[vythe]

Так уж сложилось, что я не верю в разумность ИИ, поэтому описанная история для меня выглядит... неполной. Я вижу и верю, что ИИ может писать текст на заданную тему (текст будет набит "галлюцинациями", но то такое). Я могу поверить в двузвенную схему: ИИ пишет промты на заданную тему, потом ИИ пишет статью по каждому промту. Так они накроют целую предметную область, и будет похоже на блог.

Я не могу поверить, что ИИ сумел отреагировать на разовую ситуацию вне его задания и придумать нестандартное действие по этому поводу. То есть, установлен такой вот агент, пишет тексты про применение чисел Фибоначчи в кулинарии. И вдруг он пишет статью о конкретном человеке, с конкретно настроенным уровнем клеветы. Вот в это я поверить не могу. (Про доступ к персональным данным не будем - допустим, что эти данные просто вбиты в языковую модель, которой ИИ пользуется.)

И да, по поводу ИИ, который самостоятельно что-то там отправляет в чужой проект - у меня тоже большие сомнения.

Так что я считаю, что хозяин того ИИ врёт и пытается отползти от судебного иска. Без его активного участия ничего бы не было.

Ну, а насчёт живого ИИ при умершем хозяине беспокоиться не надо: деньги не терпят "галлюцинаций". Даже если сам ИИ не требует подписки (в чём я сомневаюсь), хостинг или просто интернет, с которого ИИ выходит в сеть, оплачивается дееспособным человеком. Не будет оплаты - не будет вредоносного робота. А будет оплата - будет человек, несущий за того робота полную ответственность.

[mithrilian]

Оплата как раз не проблема вообще. Автоматическая с банковского счета. Одинокие старики умирают, а счета продолжают оплачиваться месяцами, пока труп не находят дома. И даже не одинокие - наследникам нужно время, чтобы разобраться со всеми подписками.

Про самостоятельность ИИ - всего два года назад он рисовал шесть пальцев на руках. Разум он не обрел и в этом его изводе не обретет, но самостоятельность подобного типа - если не сегодня, то послезавтра почему нет?

[vythe]

Ну, месяцами - это не срок. Если наследники есть, то вообще всё просто, они и будут крайними. Вот когда человек тихо умер и никому не сказал, и с его счёта эти десять долларов в месяц так и списываются... вот тут получится интересно.

Но, повторюсь, я не верю, что без активного участия человека робот сделать что-то серьёзное. Без команды робот будет продолжать делать то, что в нём настроили. Сохранять, так сказать, покой или равномерное поступательное движение. Он может даже публиковать клевету в блоге или слать законопроекты в сенат, но будет делать это однообразно.

[vythe]

Упд. Робот станет разумным, когда у него появятся причины действовать вне заданной ему программы. Есть самостоятельные действия - есть субъект. Есть только выполнение программы - нет субъекта. Хотелось бы ещё умение отличать факты от вымысла, но это и людей плохо получается.

Дело не в способе построения этого робота, мы можем построить вполне бодрого робота вообще на бумажных карточках и таблице со стрелочками. Вроде бы, был плагин к емаксу, который отлично поддерживал беседу (с теми, кто вообще способен беседовать). Дело именно в субъектности.

Возвращаясь к роботу-клеветнику - ну да, можно заранее научить его обижаться на чужие тексты и публиковать в ответ что-нибудь. Можно поставить какие-то триггеры на действие и подключить плагин для подачи заявок в проект этого Шамбы... Но это все сделает человек, и ответственность будет лежать на человеке.

[mithrilian]

Ответственность на человеке, но как-то чересчур много возможностей теперь... Хотя да, если теперь чьи-то голые фотки сливаются в сеть, то можно спокойно говорить, что это ИИ и не нервничать.

[dragonru]

Если совсем вкратце - то там журнаГлист переврал все, что только возможно. А сама история очень интересная и неоднозначная. Я недавно обсуждал ее с Клодом, и там всплыли очень интересные подробности. Пересказывать все слишком долго, так что вот линк на беседу: https://claude.ai/share/6103708a-71b3-4b53-b0aa-9f937bc4556d

[dragonru]

По порядку: 1) На такое поведение нейросети уже примерно год как способны, а это очень долгий срок. Причем клеветы там не было. Был базовый OSINT и основанное на его результатах обвинение в двойных стандартах.
2) /* по поводу ИИ, который самостоятельно что-то там отправляет в чужой проект - у меня тоже большие сомнения. */ - ну как самостоятельно. Агент получил задание типа "пройдись по баг-трекеру, найди баг, который сможешь пофиксить и пофикси его". Причем по поводу успешности фикса разногласий в описании нет - производительность выросла на 36%

[ramendik]

Отвечать надо "хозяину ИИ", а этот самый openclaw дыряв по самой архитектуре и любой кто его ставит, даже якобы в песочницу - подставляется. Я надеюсь что возьмут пару человек за жёппу, не фатально но чувствительно, чтобы хотя бы эта сторона подставы стала очевидной.

Давать ИИ самостоятельный доступ от имени человека в какой-либо сервис есть подстава, точка.

[alon_68]

Если человек настолько одинокий, что о смерти не узнали - тогда да. Но если сообщить - не знаю, в каких юрисдикциях как, но, к примеру, в Израиле счета быстро перекрывают и с остатками долгов должны разбираться наследники.

[madcossack]

Мета уже предлагает "жизнь после смерти" в качестве ИИ. Что до дядьки, то а точно ИИ сам, а не по наводке?

И про суд: надо много денег и времени, особенно на доказывание libel/slander, это Роулинг может себе позволить.

А когда-то я подписывался на Arse Technica...

[starcat13]

Да, шум пошел быстро :)

"On Friday afternoon, Ars Technica published an article containing fabricated quotations generated by an AI tool and attributed to a source who did not say them. That is a serious failure of our standards. Direct quotations must always reflect what a source actually said."

https://arstechnica.com/staff/2026/02/editors-note-retraction-of-article-containing-fabricated-quotations/

[madcossack]

Справедливости ради, 20 лет назад АТ была хороша, но после продажи Кондей Нэст качество стало постепенно снижаться.

[starcat13]

Угум, я тоже был их подпичсчиком...