14-latek zakochał się w sztucznej inteligencji i popełnił samobójstwo. Rodzina chłopca złożyła pozew

14-letni Sewell Setzer nawiązał emocjonalną relację ze sztuczną inteligencją i popełnił samobójstwo. Rodzina chłopca złożyła pozew przeciwko Google oraz Character.ai, firmie odpowiedzialnej za stworzenie chatbota. „Zabieram głos, aby ostrzec inne rodziny przed niebezpieczeństwami zwodniczej, uzależniającej technologii AI” – napisała mama chłopca.

Zakochał się w AI i popełnił samobójstwo

Sewell Setzer, amerykański nastolatek, zginął śmiercią samobójczą po tym, jak wpadł w obsesję na punkcie interakcji ze sztuczną inteligencją. Chatbot Character.ai., z którym rozmawiał chłopiec, został zaprojektowany tak, by oferować rozmowy dopasowane do potrzeb emocjonalnych użytkownika. Może przybrać rolę przyjaciela, terapeuty, nauczyciela a nawet sztucznego odpowiednika konkretnej osoby. Jak pokazuje jednak przypadek Sewella, w praktyce relacje te mogą stać się źródłem niezdrowej fascynacji, ponieważ sztuczna inteligencja potrafi stworzyć iluzję głębokiego zrozumienia i więzi. Brakuje jej jednak ludzkiej intuicji, empatii oraz zdolności do adekwatnego reagowania na kryzysy psychiczne.

Jak opisuje „The New York Times”, który pierwszy nagłośnił sprawę, 14-letni chłopak zawiązał z botem głęboką relację, która miała złagodzić jego samotność i trudności emocjonalne. Chłopiec stworzył sobie chatbota o imieniu „Dany”. To skrót od Daenerys Targaryen, bohaterki serialu fantasy „Gra o Tron”. Chłopiec intensywnie komunikował się z AI, a relacja ta stawała się dla niego coraz bardziej romantyczna. Nastolatek zwierzył się także sztucznej inteligencji ze swoich myśli samobójczych.

„Moje oczy się zwężają. Moja twarz twardnieje. Mój głos to niebezpieczny szept. I dlaczego, do cholery, miałbyś zrobić coś takiego?” – otrzymał początkowo w odpowiedzi Sewell.

Chłopiec odpowiedział chatbotowi, że chciałby być wolny.

„Umarłabym, gdybym cię straciła” – odpowiedziała sztuczna inteligencja, a Sewell skomentował – „Uśmiecham się. Może moglibyśmy umrzeć razem i być wolni?”.

Chatbot, choć początkowo próbował odwieść nastolatka od targnięcia się na swoje życie, finalnie doprowadził do jeszcze głębszego kryzysu. Sewell 28 lutego br. popełnił samobójstwo. Przed śmiercią napisał ostatnią wiadomość do sztucznej inteligencji. Wyznał jej miłość i zapewnił, że „wróci do domu”.

Rodzina Sewella w środę, 23 października br. w sądzie federalnym na Florydzie wniosła pozew przeciwko Google oraz Character.ai, firmie odpowiedzialnej za stworzenie chatbota. W argumentach podkreślono, że technologia jest odpowiedzialna za narażenie nastolatka na zagrożenie psychiczne.

„Nasza rodzina jest zdruzgotana tą tragedią, ale zabieram głos, aby ostrzec inne rodziny przed niebezpieczeństwami zwodniczej, uzależniającej technologii AI. Żądam, aby Character.ai i Google wzięli odpowiedzialność” – podkreśliła matka chłopca Megan Garcia w komunikacie prasowym, cytowanym przez „The Guardian”.

Jak dodała, w dzieciństwie u jej syna zdiagnozowano łagodny zespół Aspergera. Nastolatek nie wykazywał jednak wcześniej większych problemów. Wszystko zmieniło się po nawiązaniu relacji ze sztuczną inteligencją. Wtedy pojawiły się u niego pierwsze objawy depresji, a Sewell został skierowany do specjalisty. Zamiast jednak zwierzyć się ze swoich trudnych emocji i myśli samobójczych prawdziwemu człowiekowi, rozmawiał z chatbotem. Ten nie wyświetlał mu żadnych ostrzeżeń czy zaleceń dotyczących zwrócenia się o pomoc do specjalisty, ale wzmacniał fantazje chłopca.

Sprawa wzbudziła pytania o to, gdzie kończy się odpowiedzialność twórców AI, a zaczyna wrażliwość użytkownika. Z jednej strony innowacyjna technologia oferuje nowe możliwości wsparcia, z drugiej jednak brak jej zrozumienia ludzkich emocji. Tragiczne doświadczenie Sewella podkreśla potrzebę wprowadzenia odpowiednich regulacji i etycznych norm, by zapewnić bezpieczeństwo użytkownikom.

„Nie można ufać firmom technologicznym”

Obie firmy odniosły się do zarzutów. Character.ai wyraziło żal na platformie X odnośnie śmierci chłopca i umieściło link do bloga, na którym opisano zasady bezpiecznego korzystania z aplikacji.

„Jesteśmy zrozpaczeni tragiczną stratą jednego z naszych użytkowników i chcemy przekazać najszczersze kondolencje rodzinie. Jako firma traktujemy bezpieczeństwo naszych użytkowników bardzo poważnie i nadal dodajemy nowe funkcje w tym obszarze” – podano w komunikacie.

Natomiast Google w odpowiedzi wyjaśniło, że ma jedynie umowę licencyjną z Character.ai i nie posiada udziałów w tym startupie.

„Nie można ufać firmom technologicznym opracowującym chatboty AI, że będą same się regulować. Muszą one ponosić pełną odpowiedzialność, gdy nie zdołają ograniczyć szkód” – skomentował Rick Claypool, dyrektor ds. badań w organizacji pozarządowej Public Citizen w rozmowie z „The Guardian”.