Character.AI, fondatorii săi (Noam Shazeer și Daniel De Freitas), și Google au fost date în judecată de către mama unui adolescent de 14 ani care s-a sinucis pe 28 februarie 2024. Companiile sunt acuzate, printre altele, de neglijență și practici înșelătoare, iar Megan Garcia (mama copilului) susține în documentele oficiale că platforma pentru chatboți AI personalizați a fost „nejustificat de periculoasă” și nu a avut puse în practică măsuri de siguranță, deși era promovată către copii.
Băiatul de 14 ani, pe numele său Sewell Setzer III, ar fi început să folosească Character.AI anul trecut, interacționând cu chatboți modelați după personaje din Game of Thrones, inclusiv după Daenerys Targaryen. Setzer a vorbit cu chatboții încontinuu în lunile de dinaintea morții sale, ultima sa interacțiune cu unul dintre ei fiind pe 28 februarie 2024, cu câteva „secunde” înainte de deces. Acuzațiile includ „antropomorfizarea” personajelor cu ajutorul inteligenței artificiale și sugerează că aceștia oferă „psihoterapie fără a fi specializați în așa ceva”. Character.AI include câțiva chatbots care se concentrează pe sănătatea mentală, cu nume precum „Therapist” sau „Are You Feeling Lonely”, cu care Setzer a și interacționat.
Avocații lui Megan Garcia îl citează pe fondatorul Noam Shazeer spunând într-un interviu că el și De Freitas au părăsit Google pentru a-și porni propria companie deoarece „există prea multe riscuri la nivel de brand pentru ca o companie mare să lanseze vreodată ceva distractiv” și că ar fi dorit să „accelereze la maximum” tehnologia. Cei doi au părăsit Google după ce compania nu a vrut să lanseze LLM-ul Meena pe care ei l-au cosntruit, însă ulterior gigantul a cumpărat echipa din spatele Character.AI în luna august.
Site-ul și aplicația mobilă Character.AI are sute de chatboți cu AI personalizați, mulți dintre ei fiind modelați după personaje populare din jocuri video, filme sau seriale. The Verge scria în urmă cu câteva luni despre cum marea majoritate din utilizatorii platformei este alcătuită din tineri, care interacționează cu diverși chatboți care pretind a fi vedete sau personaje iubite de aceștia. Recent, au fost anunțate și câteva schimbări ale platformei, inclusiv la nivelul chatboților care interacționează cu minori, aceștia fiind acum, conform companiei, mai puțin predispuși să producă un conținut sugestiv sau sensibil. De asemenea, utilizatorii vor fi notificați atunci când petrec sesiuni mai lungi de o oră pe platformă, și va exista un mesaj pe fiecare chat care să le reamintească acestora că AI-ul cu care discută nu este o persoană reală.
