mithrilian: (Default)
[personal profile] mithrilian
https://www.france24.com/en/first-victim-of-ai-agent-harassment-warns-thousands-more-could-be-next?utm_medium=social&utm_campaign=youtube&utm_source=shorty&utm_slink=f24.my%2FBl25

Я распишу пошагово, вдруг кто еще все проспал, как я.

1. Нынче можно скачать, установить и кастомизировать ИИ-агента. Дать ему цель, завести ему, например, блог и отправить на интернет вести блог самостоятельно.

2. На сети есть дядька (по ссылке), содержит некую базу данных чего-то там технического, принимает туда инфу от людей. От ИИ не принимает. Но в последнее время от ИИ валом валит.

3. Дядька проснулся утречком и, а в сети лежит о нем гадкая статейка, ну, в блоге каом-то некий блогер о нем написал гадости. Блогер - ИИ, самостоятельный. Его хозяин в процессе не участвовал, когда-то его запустил изначально и устранился.

4. ИИ-автор при этом сперва пошарил по интернету, нашел персональную информацию о дядьке, типа почтового адреса, и радостно это все опубликовал, дескать ж вот, смотрите все на гада.

Понимаете? Человек отказал роботу, робот обиделся и опубликовал о человеке гадость. Теперь представьте, что он нанимается на работу и отдел кадров пробивает его по интернету и находит обвинения. Ну то есть конкретно этот случай вроде безобидный на деле, там и информация не очень секретная, и обвинения слабые, но сам факт!!

Вишенка на торте: о злоключениях дядьки написало техническое издание Ars Technica, применив ИИ, который придумал кучу цитат, которые дядька не говорил.

Ну то есть понятно, что в суд надо того, кто этого злого ИИ-агента запустил в сеть и не следил за ним. Как за укус собаки отвечает хозяин. Но. А если хозяин помер? Помер, а ИИ живет? Такого будет, обязательно.

Date: 2026-02-24 10:23 am (UTC)
From: [personal profile] vythe
Так уж сложилось, что я не верю в разумность ИИ, поэтому описанная история для меня выглядит... неполной. Я вижу и верю, что ИИ может писать текст на заданную тему (текст будет набит "галлюцинациями", но то такое). Я могу поверить в двузвенную схему: ИИ пишет промты на заданную тему, потом ИИ пишет статью по каждому промту. Так они накроют целую предметную область, и будет похоже на блог.

Я не могу поверить, что ИИ сумел отреагировать на разовую ситуацию вне его задания и придумать нестандартное действие по этому поводу. То есть, установлен такой вот агент, пишет тексты про применение чисел Фибоначчи в кулинарии. И вдруг он пишет статью о конкретном человеке, с конкретно настроенным уровнем клеветы. Вот в это я поверить не могу. (Про доступ к персональным данным не будем - допустим, что эти данные просто вбиты в языковую модель, которой ИИ пользуется.)

И да, по поводу ИИ, который самостоятельно что-то там отправляет в чужой проект - у меня тоже большие сомнения.

Так что я считаю, что хозяин того ИИ врёт и пытается отползти от судебного иска. Без его активного участия ничего бы не было.

Ну, а насчёт живого ИИ при умершем хозяине беспокоиться не надо: деньги не терпят "галлюцинаций". Даже если сам ИИ не требует подписки (в чём я сомневаюсь), хостинг или просто интернет, с которого ИИ выходит в сеть, оплачивается дееспособным человеком. Не будет оплаты - не будет вредоносного робота. А будет оплата - будет человек, несущий за того робота полную ответственность.

Date: 2026-02-24 11:14 am (UTC)
From: [personal profile] vythe
Ну, месяцами - это не срок. Если наследники есть, то вообще всё просто, они и будут крайними. Вот когда человек тихо умер и никому не сказал, и с его счёта эти десять долларов в месяц так и списываются... вот тут получится интересно.

Но, повторюсь, я не верю, что без активного участия человека робот сделать что-то серьёзное. Без команды робот будет продолжать делать то, что в нём настроили. Сохранять, так сказать, покой или равномерное поступательное движение. Он может даже публиковать клевету в блоге или слать законопроекты в сенат, но будет делать это однообразно.

Date: 2026-02-24 11:27 am (UTC)
From: [personal profile] vythe
Упд. Робот станет разумным, когда у него появятся причины действовать вне заданной ему программы. Есть самостоятельные действия - есть субъект. Есть только выполнение программы - нет субъекта. Хотелось бы ещё умение отличать факты от вымысла, но это и людей плохо получается.

Дело не в способе построения этого робота, мы можем построить вполне бодрого робота вообще на бумажных карточках и таблице со стрелочками. Вроде бы, был плагин к емаксу, который отлично поддерживал беседу (с теми, кто вообще способен беседовать). Дело именно в субъектности.

Возвращаясь к роботу-клеветнику - ну да, можно заранее научить его обижаться на чужие тексты и публиковать в ответ что-нибудь. Можно поставить какие-то триггеры на действие и подключить плагин для подачи заявок в проект этого Шамбы... Но это все сделает человек, и ответственность будет лежать на человеке.
Page generated Feb. 24th, 2026 03:05 pm
Powered by Dreamwidth Studios