كشف معهد ماساتشوستس للتكنولوجيا (MIT) أن الأشخاص الذين يحملون درجة الماجستير في القانون (LLMs) قد يطورون فهمهم الخاص للواقع.

اكتشف الباحثون في MIT أن الموديلات اللغوية الكبيرة (LLMs) يمكنها تكوين تصورات داخلية خاصة بها للواقع. أظهر تدريب LLM على الألغاز أن الموديل قد طور فهمًا لبيئة اللغز بنفسه، بدون تعليم صريح. تم الإبلاغ عن البحث أمس بواسطة MIT News.

لاختبار ذلك، استخدم الباحثون ألغاز Karel – مهام تتضمن إعطاء تعليمات لروبوت في بيئة محاكاة. بعد تدريب الموديل على أكثر من مليون لغز من هذا النوع، اكتشفوا أن LLM ليس فقط تحسن في إنشاء التعليمات الصحيحة، ولكنه بدا أيضًا أنه طور محاكاة داخلية لبيئة اللغز.

توضح تشارلز جين، المؤلفة الرئيسية لـالدراسة، قائلة ” في بداية هذه التجارب، كان نموذج اللغة يولد تعليمات عشوائية لم تكن تعمل. بحلول الوقت الذي أكملنا فيه التدريب، أصبح نموذج اللغة لدينا يولد التعليمات الصحيحة بنسبة 92.4 في المائة.”

أظهر هذا النموذج الداخلي، الذي تم الكشف عنه باستخدام تقنية التعلم الآلي المعروفة بـ “التمشيط”، نموذجًا داخليًا لكيفية استجابة الروبوت للتعليمات، مما يشير إلى فهم يتجاوز الصياغة النحوية.

تم تصميم الاستكشاف فقط لـ “النظر داخل دماغ LLM”، كما تقول جين، ولكن كان هناك فرصة أن يكون قد أثر على تفكير النموذج.

تشرح جين، “الاستكشاف مثل محلل الأدلة الجنائية: تسلم له هذه الكومة من البيانات وتقول له، ‘ها هو كيف يتحرك الروبوت، الآن حاول العثور على حركة الروبوت في الكومة من البيانات.’ يخبرك المحلل لاحقًا أنهم يعرفون ما يحدث مع الروبوت في تلك الكومة من البيانات.”

تضيف جين: “ولكن ماذا لو كانت كومة البيانات تشفر فقط التعليمات الأولية، وقد وجد المحلل طريقة ذكية لاستخراج التعليمات واتباعها بالتحديد؟ في هذه الحالة، فإن نموذج اللغة لم يتعلم حقا معنى التعليمات على الإطلاق.”

لاختبار هذا، نفذ الباحثون تجربة “عالم بيزارو”، حيث تم عكس معاني التعليمات. في هذا السيناريو، واجهت القاطعة صعوبة في تفسير التعليمات المعدلة، مما يشير إلى أن نموذج اللغة المحدد (LLM) قد طور فهمه الدلالي الخاص للتعليمات الأصلية.

تتحدى هذه النتائج الرأي السائد الذي يعتبر أن النماذج اللغوية الكبيرة (LLMs) هي مجرد آلات متقدمة لمطابقة الأنماط. بدلاً من ذلك، يشير إلى أن هذه النماذج قد تكون تطورت نحو فهم أعمق وأكثر تفصيلاً للغة والعالم الذي تمثله.

أشارت دراسة من جامعة باث في وقت سابق من هذا الأسبوع إلى أن الـ LLMs تتفوق في معالجة اللغة ولكنها تكافح في اكتساب المهارات بشكل مستقل. وقد عززت هذه الفكرة من التوقعية للـ LLMs. ومع ذلك، تقدم أبحاث MIT وجهة نظر متناقضة.

على الرغم من أن نتائج MIT تبدو واعدة، إلا أن الباحثين يشددون على بعض القيود. تحديدًا، تعترف Jin بأنهم استخدموا لغة برمجة بسيطة جدًا ونموذجًا صغيرًا نسبيًا للحصول على ث insights.

ختامًا، بينما نتائج MIT مشجعة، يحذر الباحثون بأنه يلزم إجراء المزيد من الأبحاث لفهم تمامًا الآثار المحتملة.