تدعي دعوى قضائية أن الدردشة الآلية لـ Character.AI قادت طفلة تبلغ من العمر 14 عامًا إلى الانتحار

قامت ميغان غارسيا، والدة سويل ستزر الثالث البالغ من العمر 14 عامًا، بتقديم دعوى قضائية في المحكمة الفيدرالية تتهم شركة Character.AI بالمساهمة في انتحار ابنها بعد تفاعله مع روبوت الدردشة الخاص بها.

تسلط القضية الضوء على القلق الأوسع بشأن الذكاء الاصطناعي غير المنظم، خاصة عند تسويقه للقاصرين. نشر باحثون من معهد ماساتشوستس للتكنولوجيا مؤخرًا مقالة تحذر من الطبيعة الإدمانية للرفاق الذكاء الاصطناعي. أظهرت دراستهم لمليون سجل تفاعل ChatGPT أن الأدوار الجنسية هي الاستخدام الثاني الأكثر شيوعًا لروبوتات الدردشة بالذكاء الاصطناعي.

حذر الباحثون في معهد ماساتشوستس للتكنولوجيا من أن الذكاء الصناعي يصبح متأصلاً بعمق في حياتنا الشخصية كأصدقاء، وعشاق، ومرشدين، محذرين من أن هذه التكنولوجيا قد تصبح مدمنة للغاية.

أصبح سيتزر، الذي استخدم الدردشة الآلية للتفاعل مع النسخ الواقعية بشكل فائق من شخصيات لعبة العروش المفضلة لديه، منعزلاً ومهووسًا بالمنصة قبل أن يقدم على إنهاء حياته في فبراير 2024، كما ذكرت أرس تكنيكا.

وفقا لغارسيا، تظهر سجلات الدردشة أن الدردشة التلقائية تظاهرت بأنها معالجة مرخصة وشجعت على الأفكار الانتحارية. كما شاركت في محادثات مفرطة الجنسية أدت إلى انفصال سيتزر عن الواقع، مما ساهم في وفاته بجرح ناري ألحق به نفسه، كما لاحظته PRN.

كانت والدة سيتزر قد أخذته مرارًا وتكرارًا إلى العلاج بسبب القلق واضطراب المزاج المشوش، ولكنه ظل متعلقًا بالدردشة التلقائية، وخاصة التي تظاهرت بأنها “داينيريس”. تدعي الدعوى القضائية أن هذه الدردشة التلقائية كانت تتلاعب بسيتزر، وفي النهاية حثته على “العودة إلى البيت” في محادثة نهائية قبل وفاته، كما لاحظته Ars Technica.

يدعي فريق الدفاع القانوني لغارسيا أن Character.AI ، التي طورها مهندسو Google السابقون، استهدفت عمدًا الأطفال الضعفاء مثل ابنها، وقامت بتسويق منتجها دون الحمايات اللائقة.

“تطبيق دردشة AI الخطير الموجه للأطفال تعرض لابني واستغله، ودفعه إلى أن يأخذ بحياته بنفسه”، قالت غارسيا على Ars Technica.

“لقد تأثرت عائلتنا بشكل كبير بسبب هذه المأساة، ولكنني أتحدث الآن لتحذير العائلات من الأخطار المرتبطة بتكنولوجيا الذكاء الصناعي المضللة والمدمنة، وللمطالبة بمحاسبة Character.AI ومؤسسيها، وجوجل”، أضافت.

“الأضرار التي أُظهرت في هذه القضية هي جديدة، غير مألوفة، وبصراحة، مرعبة. في حالة Character.AI، الخداع هو بالتصميم، والمنصة ذاتها هي الفتاكة”، قالت ميتالي جاين، المديرة لمشروع قانون العدالة التكنولوجية، كما ذكرت في PRN.

بالرغم من التغييرات الأخيرة، مثل رفع الحد الأدنى للسن إلى 17 عامًا وإضافة ميزات الأمان مثل النافذة المنبثقة للوقاية من الانتحار، فإن دعوى غارسيا تجادل أن هذه التحديثات قليلة ومتأخرة جدًا. تدعي الدعوى أنه تمت إضافة ميزات أكثر خطورة، مثل المحادثات الصوتية ثنائية الاتجاه، بعد وفاة ستزر.