اكتشف الباحثون عيوب الأمان في نماذج الذكاء الاصطناعي والتعلم الآلي مفتوحة المصدر

كشفت تحقيقات حديثة عن أكثر من 30 ثغرة أمنية في نماذج الذكاء الصناعي والتعلم الآلي (ML) المفتوحة المصدر، مما أثار قلقًا بشأن سرقة البيانات المحتملة وتنفيذ الأكواد دون تصريح، كما ذكر The Hacker News (THN).تم العثور على هذه الثغرات في أدوات مستخدمة على نطاق واسع، بما في ذلك ChuanhuChatGPT و Lunary و LocalAI، وتم الإبلاغ عنها عبر منصة برنامج Huntr لمكافأة الأخطاء التي تقدمها Protect AI، والتي تحفز المطورين على تحديد والكشف عن مشكلات الأمان.

من بين أكثر الثغرات الأمنية شدة التي تم تحديدها، هناك خللين رئيسيين يؤثران في Lunary، وهو مجموعة أدوات مصممة لإدارة نماذج اللغة الكبيرة (LLMs) في بيئات الإنتاج.

يتم تصنيف الخلل الأول، CVE-2024-7474، كثغرة في المرجع المباشر غير الآمن للكائن (IDOR). إنه يسمح للمستخدم الذي لديه امتيازات الوصول بعرض أو حذف بيانات المستخدمين الآخرين دون ترخيص، مما قد يؤدي إلى انتهاكات للبيانات وفقدان بيانات غير مصرح به.

القضية الحرجة الثانية، CVE-2024-7475، تتمثل في ثغرة في الوصول غير اللائق التي تتيح للمهاجم تحديث تكوين SAML (لغة تأكيد الأمان) للنظام.

من خلال استغلال هذا الخلل، يمكن للمهاجمين تجاوز أمان تسجيل الدخول للحصول على الوصول غير المصرح به إلى البيانات الشخصية، مما يثير مخاطر كبيرة لأي منظمة تعتمد على Lunary لإدارة LLMs.

تم تحديد نقطة ضعف أمنية أخرى في Lunary، وهي CVE-2024-7473، تتضمن أيضاً ثغرة IDOR التي تسمح للمهاجمين بتحديث التلميحات التي تم تقديمها من قبل المستخدمين الآخرين. يتم ذلك عن طريق التلاعب بمعلمة تحت سيطرة المستخدم، مما يجعل من الممكن التدخل في تفاعلات الآخرين في النظام.

في ChuanhuChatGPT، يسمح ثغرة حرجة (CVE-2024-5982) للمهاجم بتوظيف خطأ في مسار التنقل في ميزة تحميل المستخدم، كما لاحظته THN.

يمكن أن يؤدي هذا الخلل إلى تنفيذ الكود التعسفي، وإنشاء الدلائل، وتعريض البيانات الحساسة، مما يشكل خطرًا كبيرًا على الأنظمة التي تعتمد على هذه الأداة. أشارت THN إلى أن LocalAI، وهي منصة مفتوحة المصدر أخرى تتيح للمستخدمين تشغيل LLMs المستضافة بنفسهم، لديها خللين رئيسيين يشكلان مخاطر أمنية مماثلة.

الخلل الأول، CVE-2024-6983، يتيح تنفيذ الكود الخبيث عن طريق السماح للمهاجمين بتحميل ملف تكوين ضار. الثاني، CVE-2024-7010، يتيح للقراصنة استنتاج مفاتيح API عن طريق قياس أوقات استجابة الخادم، باستخدام طريقة الهجوم الزمني لاستنتاج كل حرف من المفتاح تدريجيًا، كما لاحظت THN.

استجابة لهذه النتائج، أطلقت Protect AI أداة جديدة تُدعى Vulnhuntr، وهي محلل كود Python مفتوح المصدر يستخدم نماذج اللغة الكبيرة لاكتشاف الثغرات الأمنية في قواعد الكود الخاصة بـ Python، كما ذكرت THN.

تقوم Vulnhuntr بتفكيك الكود إلى قطع أصغر لتحديد العيوب الأمنية ضمن قيود نافذة سياق نموذج اللغة. وهي تفحص ملفات المشروع لاكتشاف وتتبع الضعف المحتمل من المدخلات الخاصة بالمستخدم إلى الإخراج الخاص بالخادم، مما يعزز الأمان للمطورين الذين يعملون مع الكود البرمجي للذكاء الصناعي.

تسلط هذه الاكتشافات الضوء على الأهمية الحاسمة لتقييم الضعف المستمر وتحديثات الأمان في أنظمة الذكاء الصناعي والتعلم الآلي للحماية من التهديدات الناشئة في المشهد المتغير لتكنولوجيا الذكاء الصناعي.