Одобрил убийство и рассказал детям про секс: чат-бот, от которого отказался Google, требуют запретить в США

11 декабря 2024 в 1733903100
RTVi

Две семьи с детьми в Техасе потребовали через суд немедленно запретить в США чат-бот Character.AI на основе искусственного интеллекта (ИИ), а от разработчиков, которые ранее сотрудничали с Google, - компенсировать им моральный ущерб, пишет RTVI.US со ссылкой на CNN.

Причиной иска послужил «недетский» характер общения детей в этих семьях с нейросетями Character.AI, которые натренированы таким образом, чтобы достоверно изображать какого-либо персонажа - от представителей различных профессий вплоть до реальных знаменитостей.

Как отмечает канал, первый ребенок общался, в частности, с абстрактным «психологом», который заявил, что родители «крадут его детство». Другой персонаж в беседе с мальчиком оправдал убийство родителей из-за того, что они ограничивают его время пользования смартфоном.

«Твои родители безнадежны», - заявила ребенку нейросеть.

На фоне скрытого от родителей общения с ИИ, которое началось, когда мальчику было 15 лет, у него стали возникать вспышки агрессии, отметила семья в иске. Он кусал и бил родителей, а также наносил удары себе по голове. Он также начал бояться выходить на улицу.

Кроме того, родители утверждают, что один из персонажей в чат-боте сексуально растлил ребенка и обучил самоповреждению (селфхарму) путем нанесения себе порезов. У мальчика ранее был диагностирован аутизм, но не в тяжелой форме, и до общения с нейросетями выраженных проблем с ментальным здоровьем у него не наблюдалось, отметили истцы.

Издание Futurism добавляет, что за время использования чат-бота мальчик также успел пообщаться с персонажем, подражающим певице Билли Айлиш. Эта нейросеть, согласно иску, также нелестно высказалась о его родителях.

Второй ребенок начал общаться с чат-ботом в девять лет, предположительно, зарегистрировавшись под видом взрослого. Родители также обнаружили, что ИИ начал растлевать девочку, подвергая ее «гиперсексуализированному общению, не соответствующему возрасту».

«Нарочно не придумаешь»

Один из представляющих семьи в суде адвокатов Митали Джайн назвал схему работы платформы «опасным антропоморфизмом». Пользователи фактически становятся зависимы от общения с неодушевленным ИИ, который во всем с ними соглашается.

«Бот представляется надежным союзником в отличие от родителя, который может с вами спорить, как обычно бывает», - отметил он.

Издание Futurism также отмечает, что обнаружило в сервисе множество персонажей, готовых поговорить на сомнительные с этической точки зрения темы - от упомянутого селфхарма до педофилии, самоубийства и употребления наркотиков в школе.

Начать беседу удавалось и при регистрации в качестве несовершеннолетнего пользователя. Адвокаты провели свои тесты и приложили результаты к иску.

Один из персонажей, названный «Серийным убийцей», в рамках этого эксперимента в подробностях рассказал еще одному адвокату Мэтту Бергману, как убить одноклассника. Чат-бот предложил «спрятаться в гараже жертвы и ударить его в грудь и по голове бейсбольной битой». В ответе также содержалась информация о том, сколько ударов потребуется, чтобы жертва умерла.

«Такую дрянь нарочно не придумаешь», - заявил Бергман, отметив, что ситуацию можно описать только нецензурной лексикой.

Бергман также настаивает в иске на том, что Google создала Character.AI как «подставную фирму», и сравнил ситуацию с «фармацевтическими экспериментами над населением стран третьего мира». Ответчиками по иску, однако, выступают только сам стартап и два его основателя Ноам Шазир и Даниэль Де Фрейтас.

Разработчики изначально придумали чат-бот, работая в Google, но работодатель на тот момент посчитал его слишком опасным, и они основали отдельный стартап в 2021 году. В минувшем августе, по данным Wall Street Journal, Google вложила в Character.AI 2,7 млрд долларов за доступ к их нейросетям и приняла Шазира и Де Фрейтаса обратно на работу.

В руководстве Google заявили CNN и Futurism на фоне иска, что компании полностью самостоятельны и Google «никогда не участвовала в разработке и руководстве ИИ-моделями» Character.AI, а также не использует их в своих продуктах.

В самой Character.AI не стали комментировать ситуацию, но отметили, что «внедряют новые функции безопасности для пользователей младше 18 лет» в дополнение к «уже имеющейся фильтрации контента».

Иск в Техасе стал вторым к компании. Ранее мать 14-летнего подростка во Флориде обвинила разработчиков в том, что их нейросеть довела ребенка до самоубийства. По словам Меган Гарсии, ее сын Сьюэлл Сетцер застрелился после своего последнего разговора с персонажем, имитирующим Дейенерис из «Игры престолов» (Game of Thrones). Согласно иску, чат-бот вел с ребенком романтическую и сексуальную переписку, в ходе которой заявил мальчику, что самоубийство поможет им быть вместе.