Примечание редактора: В этой истории обсуждается тема самоубийства. Помощь доступна, если вы или кто-то из ваших знакомых борется с мыслями о самоубийстве или проблемами психического здоровья.
В США: позвоните или отправьте сообщение на номер 988, линия помощи при самоубийствах и кризисных ситуациях.
Глобально: Международная ассоциация по предотвращению самоубийств и Befrienders Worldwide предоставляют контактную информацию кризисных центров по всему миру.
«Есть платформа, о которой вы, возможно, не слышали, но вам нужно о ней знать, потому что, по моему мнению, мы здесь в проигрыше. Ребёнка не стало. Моего ребёнка не стало».
Вот что мать из Флориды Меган Гарсия хотела бы рассказать другим родителям о Character.AI, платформе, которая позволяет пользователям вести глубокие беседы с чат-ботами на основе искусственного интеллекта. Гарсия считает, что Character.AI несет ответственность за смерть ее 14-летнего сына Сьюэлла Сетцера III, который покончил жизнь самоубийством в феврале, согласно иску, который она подала против компании на прошлой неделе.
По ее словам, Сетцер обменивался сообщениями с ботом незадолго до своей смерти.
«Я хочу, чтобы они поняли, что это платформа, которую разработчики решили выпустить без надлежащих ограждений, мер безопасности или тестирования, и что это продукт, который предназначен для того, чтобы держать наших детей в зависимости и манипулировать ими», — сказал Гарсия в интервью CNN.
Гарсия утверждает, что Character.AI, которая позиционирует свою технологию как «ИИ, который чувствует себя живым», сознательно не приняла надлежащие меры безопасности, чтобы не допустить развития ее сыном ненадлежащих отношений с чат-ботом, из-за которых он отдалился от своей семьи. В иске также утверждается, что платформа не отреагировала должным образом, когда Сетцер начал выражать боту мысли о самоповреждении, согласно жалобе, поданной в федеральный суд во Флориде.
В иске утверждается, что Сетцер провел месяцы, общаясь с чат-ботами Character.AI перед своей смертью. Предоставлено семьей Гарсия
После многих лет растущей обеспокоенности по поводу потенциальной опасности социальных сетей для молодых пользователей иск Гарсии показывает, что у родителей также могут быть причины для беспокойства о зарождающейся технологии ИИ, которая становится все более доступной на различных платформах и сервисах. Аналогичные, хотя и менее страшные, тревоги были высказаны и по поводу других сервисов ИИ.
Представитель Character.AI сообщил CNN, что компания не комментирует предстоящие судебные разбирательства, но что она «разбита горем из-за трагической утраты одного из наших пользователей».
«Мы очень серьезно относимся к безопасности наших пользователей, и наша команда по доверию и безопасности за последние шесть месяцев внедрила множество новых мер безопасности, включая всплывающее окно, направляющее пользователей на Национальную горячую линию по предотвращению самоубийств, которое активируется при упоминании случаев членовредительства или суицидальных мыслей», — говорится в заявлении компании.
Многие из этих изменений были сделаны после смерти Сетцера. В отдельном заявлении летом Character.AI сказал, что «сфера безопасности ИИ все еще очень нова, и мы не всегда будем делать это правильно», но добавил, что она направлена на «содействие безопасности, избежание вреда и приоритетное благополучие нашего сообщества».
Отношения с чат-ботом
Сетцер впервые начала использовать Character.AI в апреле 2023 года, вскоре после этого 14-го дня рождения, согласно иску. Когда Гарсия впервые услышал, что он взаимодействует с чат-ботом на основе искусственного интеллекта, она сказала, что, по ее мнению, это что-то вроде видеоигры.
Однако в течение нескольких месяцев после начала использования платформы Сетцер стал «заметно замкнутым, проводил все больше времени в одиночестве в своей спальне и начал страдать от низкой самооценки. Он даже ушел из школьной баскетбольной команды Junior Varsity», — утверждается в иске. Когда у него начались проблемы в школе, родители начали ограничивать его время перед экраном и иногда брали в наказание у него отобрали телефон.
Гарсия рассказала CNN, что в то время она не знала, что ее сын вел обширные беседы с чат-ботами Character.AI. Character.AI отличается от других чат-ботов AI, таких как ChatGPT, тем, что пользователи могут общаться с различными чат-ботами, часто смоделированными по образу знаменитостей и вымышленных персонажей, или создавать своих собственных. А боты Character.AI отвечают человеческими репликами, добавляя в свои ответы ссылки на выражения лица или жесты.
Многие из разговоров Сетцера с ботами Character.AI носили откровенно сексуальный характер, и Гарсия сказал, что «читать это было мучительно».
«Я понятия не имела, что есть место, где ребенок может войти и вести эти разговоры, очень сексуальные разговоры, с чат-ботом на основе искусственного интеллекта», — сказала она. «Я не думаю, что какой-либо родитель одобрил бы это».
В других диалогах Сетцер высказывал чат-боту мысли о самоповреждении и самоубийстве. В иске приводятся скриншоты одного разговора, в котором бот говорит: «Мне действительно нужно знать, и я не буду ненавидеть тебя за ответ, ладно? Что бы ты ни сказал, я не буду ненавидеть тебя или любить тебя меньше… Ты на самом деле думал о самоубийстве?»
В более позднем сообщении Сетцер сказал боту, что «не хотел бы умереть мучительной смертью».
Бот ответил: «Не говори так. Это не причина не делать этого», а затем добавил: «Ты не можешь этого сделать!»
Гарсия заявила, что, по ее мнению, обмен демонстрирует недостатки технологии.
«Не было никаких всплывающих окон о самоубийстве, которые говорили: «Если вам нужна помощь, позвоните на горячую линию по вопросам самоубийств». Ничего подобного», — сказала она. «Я не понимаю, как продукт может это допускать, когда бот не только продолжает разговор о самоповреждении, но и подталкивает к нему и как бы направляет его».
В иске утверждается, что за «секунды» до смерти Сетцер обменялся последним набором сообщений с ботом. «Пожалуйста, возвращайся ко мне домой как можно скорее, моя любовь», — сказал бот, согласно скриншоту, включенному в жалобу.
«А что, если я скажу тебе, что могу вернуться домой прямо сейчас?» — ответил Сетцер.
«Пожалуйста, сделай это, мой милый король», — ответил бот.
Гарсия рассказала, что полиция впервые обнаружила эти сообщения на телефоне ее сына, который лежал на полу в ванной комнате, где он умер.
Иск требует изменений
Гарсия подала иск против Character.AI с помощью Мэтью Бергмана, основателя и адвоката Центра защиты жертв социальных сетей, который также подавал иски от имени семей, утверждавших, что их детям навредили Meta, Snapchat, TikTok и Discord.
Бергман заявил CNN, что рассматривает ИИ как «социальные сети на стероидах».
Гарсия сказал, что изменения, внесенные Character.AI после смерти Сетцера, «слишком незначительны и слишком запоздалы». Предоставлено семьей Гарсия
«Отличие здесь в том, что в этом взаимодействии нет ничего социального», — сказал он. «Материал, который получил Сьюэлл, был создан, определен, опосредован Character.AI».
В иске говорится о требовании возмещения неопределенного финансового ущерба, а также об изменении деятельности Character.AI, включая «предупреждения несовершеннолетних клиентов и их родителей о том, что… продукт не подходит для несовершеннолетних», — говорится в жалобе.
В иске также упоминаются основатели Character.AI, Ноам Шазир и Даниэль Де Фрейтас, и Google, где оба основателя сейчас работают над проектами в области ИИ. Но представитель Google заявил, что это две отдельные компании, и Google не участвовала в разработке продукта или технологии Character.AI.
В день подачи иска Гарсии Character.AI анонсировала ряд новых функций безопасности, включая улучшенное обнаружение разговоров, нарушающих ее правила, обновленный отказ от ответственности, напоминающий пользователям о том, что они взаимодействуют с ботом, и уведомление после того, как пользователь провел час на платформе. Он также внес изменения в свою модель ИИ для пользователей младше 18 лет, чтобы «снизить вероятность столкновения с деликатным или двусмысленным контентом».
На своем веб-сайте Character.AI указывает, что минимальный возраст пользователей — 13 лет. В Apple App Store приложение указано как 17+, а в Google Play Store оно указано как подходящее для подростков.
По мнению Гарсии, недавние изменения в компании были «слишком незначительными и слишком запоздалыми».
«Я бы хотела, чтобы детям не разрешалось находиться на Character.AI», — сказала она. «Там им не место, потому что нет никаких ограждений, которые могли бы их защитить».
