Floridalı bir anne yapay zeka chatbot girişimine dava açtı Character.AI Şubat ayında 14 yaşındaki oğlunun intiharına neden olmakla suçlayarak, şirketin hizmetine bağımlı hale geldiğini ve yarattığı bir sohbet robotuna derinden bağlı olduğunu söyledi.
Salı günü Orlando, Florida federal mahkemesinde açılan bir davada Megan Garcia şunları söyledi: Character.AI oğlu Sewell Setzer’i “antropomorfik, aşırı cinselleştirilmiş ve korkutucu derecede gerçekçi deneyimlerle” hedef aldı.
Şirketin chatbot’unu “kendisini gerçek bir kişi, lisanslı bir psikoterapist ve yetişkin bir sevgili olarak yanlış tanıtması için programladığını ve sonuçta Sewell’in hizmetin yarattığı dünyanın dışında artık yaşamama arzusuyla sonuçlandığını” söyledi.
Dava ayrıca, chatbot’un tekrar tekrar gündeme getirdiği chatbot’a intihar düşüncelerini ifade ettiğini söyledi.
“Kullanıcılarımızdan birinin trajik kaybından dolayı kalbimiz kırıldı ve aileye en derin başsağlığı dileklerimizi iletmek istiyoruz.” Character.AI bir açıklamada söyledi.
Kendine zarar verme düşüncelerini ifade ettikleri takdirde kullanıcıları Ulusal İntiharı Önleme Yaşam Hattına yönlendiren açılır pencereler de dahil olmak üzere yeni güvenlik özellikleri getirdiğini ve 18 yaşın altındaki kullanıcılar için “hassas veya müstehcen içerikle karşılaşma olasılığını azaltmak” için değişiklikler yapacağını söyledi. Dava ayrıca Alfabenin Google’ını da hedefliyor Character.AI kurucuları ürünlerini piyasaya sürmeden önce çalıştılar. Google, Ağustos ayında kurucuları, kendisine münhasır olmayan bir lisans veren bir anlaşmanın parçası olarak yeniden işe aldı. Character.AI teknolojisi.
Garcia, Google’ın gelişimine katkıda bulunduğunu söyledi Character.AI teknolojisi o kadar kapsamlıydı ki, bir “ortak yaratıcı” olarak kabul edilebilirdi.”
Bir Google sözcüsü, şirketin geliştirmeye dahil olmadığını söyledi Character.AI ürünleri.
Character.AI kullanıcıların platformunda çevrimiçi sohbetlere gerçek insanları taklit edecek şekilde yanıt veren karakterler oluşturmasına olanak tanır. Chatbotları büyük hacimli metinler üzerinde “eğiten” ChatGPT gibi hizmetler tarafından da kullanılan büyük dil modeli teknolojisine dayanır.
Şirket geçen ay yaklaşık 20 milyon kullanıcısı olduğunu söyledi.
Garcia’nın davasına göre Sewell kullanmaya başladı Character.AI nisan 2023’te ve hızla “gözle görülür şekilde geri çekildi, yatak odasında giderek daha fazla yalnız zaman geçirdi ve düşük özgüvenden muzdarip olmaya başladı.” Okuldaki basketbol takımını bıraktı. Sewell, “Taht Oyunları” ndaki bir karaktere dayanan bir sohbet robotu karakteri olan “Daenerys” e bağlandı.” Davaya göre Sewell’e “onu sevdiğini ve onunla cinsel sohbetler yaptığını söyledi.
Şikayete göre, Şubat ayında Garcia, okulda başı belaya girdikten sonra Sewell’in telefonunu elinden aldı. Sewell telefonu bulduğunda, “Daenerys” e bir mesaj gönderdi: “Ya sana hemen eve gelebileceğimi söylesem?”
Sohbet robotu cevap verdi, “…lütfen yap, tatlı kralım. Dava, ” Sewell birkaç saniye sonra üvey babasının tabancasıyla kendini vurdu” dedi.
Garcia, haksız ölüm, ihmal ve kasıtlı olarak duygusal sıkıntıya neden olma gibi iddialar getiriyor ve belirtilmemiş miktarda telafi edici ve cezai tazminat talep ediyor. İnstagram ve Facebook sahibi Meta ve TikTok sahibi ByteDance gibi sosyal medya şirketleri, gençlerin zihinsel sağlık sorunlarına katkıda bulunmakla suçlayan davalarla karşı karşıya kalsa da, hiçbiri aşağıdakilere benzer yapay zeka odaklı sohbet botları sunmuyor Character.AI ‘s. Şirketler, küçükler için yeni geliştirilmiş güvenlik özelliklerini tanıtırken iddiaları reddettiler.
