تبين أنه سيء في التعرف على العلاقات ويحتاج إلى تدريب انتقائي، حسبما يقول الباحثون.
تقديم
لا يزال ChatGPT ليس بمثل دكتور هاوس.
في حين أن الروبوت الذكي الحديث قد أخفق سابقًا في محاولاته لتشخيص حالات طبية صعبة – بنسبة دقة تبلغ 39 في المائة في تحليل العام الماضي – يشير دراسة جديدة نُشرت هذا الأسبوع في JAMA Pediatrics إلى أن الإصدار الرابع من نموذج اللغة الكبيرة سيء بشكل خاص في حالات الأطفال. وكانت نسبة الدقة فقط 17 في المائة عند تشخيص حالات الأطفال الطبية.
العلاقات المفقودة
في اختبار ChatGPT ، قام الباحثون بلصق النص المتعلق بالحالات الطبية ذات الصلة في النص المحفز ، ثم قام اثنان من الأطباء الباحثين المؤهلين بتقييم الإجابات التي تم إنشاؤها بواسطة الذكاء الاصطناعي كصحيحة أو غير صحيحة أو “لم تلتقط التشخيص بالكامل”. في الحالة الأخيرة ، قدم ChatGPT حالة سريرية ذات صلة واسعة أو غير محددة بما يكفي ليعتبر التشخيص صحيحًا. على سبيل المثال ، قدم ChatGPT تشخيص حالة طفل كنتيجة لوجود كيس في الفتحة الخياشيمية – كتلة في الرقبة أو تحت العظمة الترقوية – عندما كان التشخيص الصحيح هو متلازمة الفتحة الخياشيمية الأذنية الكلوية ، وهي حالة وراثية تسبب تطورًا غير طبيعي للأنسجة في الرقبة وتشوهات في الأذنين والكلى. واحدة من علامات الحالة هي تكون كيسات الفتحة الخياشيمية.
التحسينات المقترحة
على الرغم من أن الروبوت الدردشة واجه صعوبة في هذا الاختبار ، يقترح الباحثون أنه يمكن تحسينه من خلال التدريب بشكل محدد وانتقائي على الأدبيات الطبية الدقيقة والموثوقة – وليس المعلومات غير الدقيقة والمضللة الموجودة على الإنترنت. كما يقترحون أن يتم تحسين الروبوتات الدردشة من خلال الوصول إلى البيانات الطبية في الوقت الحقيقي ، مما يتيح للنماذج تحسين دقتها وصقلها.
“يوفر هذا فرصة للباحثين للتحقيق في ما إذا كان يمكن لتدريب البيانات الطبية المحددة وضبطها تحسين الدقة التشخيصية لروبوتات الدردشة المعتمدة على نموذج اللغة الكبيرة” ، يختتم الباحثون.
اترك تعليقاً