مراجعة الأقران المجهولة المزدوجة للباحثين

مقدمة

تلتزم إدارة مهمة العلوم في وكالة ناسا بضمان أن يتم مراجعة الاقتراحات بطريقة عادلة ومنصفة. ولهذا الغرض، ستقوم إدارة العلوم بتقييم الاقتراحات لعناصر برنامج ROSES العديدة باستخدام مراجعة الأقران المجهولة المزدوجة (DAPR). وفي هذا النظام، لا يعلم المقترحون هوية أعضاء لجنة المراجعة، ولا يتم إخبار المراجعين بهوية المقترحين حتى بعد الانتهاء من تقييم وتصنيف جميع الاقتراحات (انظر أدناه). الهدف من مراجعة الأقران المجهولة المزدوجة هو تقليل تأثير التحيز الضمني أو اللاواعي في تقييم جدارة الاقتراح.

النتائج الأولية

أظهرت نتائج تجربة ناسا لمراجعة الأقران المجهولة المزدوجة في ROSES-2020 تحسنًا، سواء من حيث جودة عملية المراجعة بشكل عام، وكذلك من حيث التنوع الديموغرافي للمستفيدين. على سبيل المثال، في برنامج ADAP، قبل المراجعة المجهولة المزدوجة، كانت النساء يشكلن 26٪ من مجموع المتقدمين، ولكنهن فقط احتلن المرتبتين الأولى في تصنيفات اللجان 16٪ من الوقت. بعد التحول إلى المراجعة المجهولة المزدوجة، ارتفعت نسبة النساء إلى 31٪ من المجموع واحتلن المرتبتين الأولى 32٪ من الوقت. وما هو أكثر من ذلك، فإن معدل نجاح الباحثين في بداية مسيرتهم العلمية تفوق حتى معدل نجاح الباحثين ذوي الخبرة الأكثر، مما يثري المزيد من حوض المواهب.

توجيهات عامة للمقترحين

يحتوي نص كل عنصر برنامج على قسم يتعلق بمتطلبات التجهيز المجهول لتلك البرامج الخاصة. بالإضافة إلى ذلك، يحتوي صفحة NSPIRES لأي عنصر برنامج يستخدم المراجعة المجهولة المزدوجة على إرشادات حول كيفية إعداد الاقتراحات للمراجعة المجهولة المزدوجة في قسم “مستندات أخرى”. هناك وثيقتان تعليميتان منفصلتان، واحدة لمعظم برامج ROSES وأخرى لاقتراحات المرحلة الأولى لفرص المحقق العام / المراقب في علم الفلك.

نصائح للمراجعين

يهدف الأمر العام لمراجعة الأقران المجهولة المزدوجة إلى ضمان أن يتم تقييم الاقتراحات بناءً على جدارتها العلمية دون أخذ في الاعتبار مؤهلات فريق المقترحين. وفيما يلي بعض النقاط المحددة.

– قم بتقييم الاقتراحات فقط بناءً على الجدارة العلمية لما هو مقترح. لا تضيع الوقت في محاولة تحديد هوية رئيس المشروع أو فريق المقترحين. هذا ينطبق حتى إذا كنت تعتقد أنك تعرف هويات أعضاء الفريق. تذكر أن تناقش العلم وليس الأشخاص.
– في مناقشات اللجنة، لا تقم بتخمين هويات الأعضاء، أو تلمح إلى هوياتهم المحتملة، أو تثير مناقشة حول عمل الفريق السابق المحتمل. عند كتابة التقييمات، استخدم الضمائر المحايدة (مثل “ما يقترحون” أو “لقد قام الفريق سابقًا بتقييم بيانات مماثلة”).
– كجزء من الفحص النهائي، وفقط بعد الانتهاء من التقييم العلمي لجميع الاقتراحات، سيتم تزويد اللجنة بوثائق “الخبرة والموارد غير المجهولة” لمجموعة من الاقتراحات (عادة الثلث العلوي، وفقًا لتوزيع الدرجات المعينة ومعدلات الاختيار المتوقعة). يهدف ذلك إلى السماح للمراجعين بتقييم قدرات الفريق المطلوبة لتنفيذ التحقيق العلمي المقترح. لن يؤثر هذا التقييم على درجة العلم وسيتم استخدامه من قبل المسؤول عن الاختيار لمساعدته في تحديد ما إذا كانت هناك أي مخاطر في تمويل الاقتراح.

أمثلة على النصوص المجهولة المزدوجة

فيما يلي بعض الأمثلة على النصوص المجهولة المزدوجة للاقتراحات:

– في السنوات الخمس الماضية، تم استخدام التصوير الفوتوغرافي بالأشعة تحت الحمراء من 2MASS لإجراء تعداد للنجوم البنية الفائقة الباردة القريبة (Cruz et al، 2003؛ 2006). تم تحديد 87 نجمًا بنية فائقة باردة في 80 نظامًا بمسافات تقريبية أقل من 20 بارسك من الشمس. هذا هو أول تعداد حقيقي للنجوم البنية الفائقة الباردة في عينة كبيرة ومحدودة حجميًا. تعتمد معظم المسافات على قياسات الزاوية الطيفية، وهي دقيقة بنسبة 20٪، وهو ما يكفي للأغراض الحالية. يتوفر لدينا بالفعل صور عالية الدقة لـ 50 نظامًا، بما في ذلك برامج التصوير الفوتوغرافي السريعة للدورة 9 و 13، # 8581 و # 10143. نقترح استهداف المصادر المتبقية من خلال الاقتراح الحالي.

– في دراسة سابقة [12]، توصلنا إلى استنتاج أن أفضل تفسير لديناميكية موجة الصدمة والطيف من الوسط الفائق المدفوع إلى الأمام والمادة المرجعة المدفوعة إلى الخلف هو أن الانفجار النووي من نوع Ia وقع في تجويف مسبق من الرياح. هذا الكائن هو المثال الوحيد المعروف لمثل هذه الظاهرة، وبالتالي يوفر فرصة فريدة لإلقاء الضوء على طبيعة الانفجارات النووية من النوع Ia والآباء المحتملين. إذا كانت نموذجنا من Rogers et al. (2014) صحيحًا، فإن القناة الواحدة المتدهورة لإنتاج SNe Ia يجب أن تكون موجودة. نقترح هنا للحصول على مرحلة ثانية من الملاحظات التي سنقارنها بالمرحلة الأولى التي تم الحصول عليها في عام 2007 لقياس الحركة السليمة لموجة الصدمة.

– قبل وبعد التشعيع الإشعاعي، سنختبر التغيرات في تركيب الجليد باستخدام تقنية الطيف الكتلي الكريوجيني المؤسسة لدينا (2S-LAI-MS) [Henderson and Gudipati 2014؛ Henderson and Gudipati 2015]. تستخدم هذه التقنية ليزرًا بالأشعة تحت الحمراء مضبوطًا على طول موجة امتصاص الماء لطرد العينة بلطف إلى الطور الغازي، حيث يمكن أن تتأين بواسطة ليزر فوق البنفسجي وتحليلها بواسطة تحليل الطيف الزمني للكتلة. الميزة الرئيسية لهذه التقنية هي أنه يمكن الحصول على معلومات تركيبية مباشرة في الموقع، لدرجات حرارة تكون ذات صلة بأوروبا (مثل 50، 100، 150 كلفن)، دون الحاجة إلى تسخينها إلى درجة حرارة الغرفة أو أي تحضير آخر للعينة. سنقوم أيضًا بإجراء تحاليل طيفية كتلية مستمرة (باستخدام محلل غازات متبقية ومطياف كتلة رباعي القطب) أثناء التشعيع لقياس كمية المواد المتطايرة ومنتجات الغاز المتطورة.

المشاكل الشائعة في إعداد الاقتراحات المجهولة المزدوجة

فيما يلي قائمة غير شاملة للمشاكل الشائعة عند إعداد الاقتراحات المجهولة المزدوجة:

– تضمين بيانات التعريف الوصفية (مثل علامات PDF، خصائص المستند) التي تكشف عن اسم رئيس المشروع.
– إعادة استخدام الاقتراحات التي تم إعدادها قبل مراجعة الأقران المجهولة المزدوجة وعدم تجريب تجهيز النص بعناية.
– تقديم أسماء المحققين في صفحة المحتويات أو في رأس أو تذييل الصفحة.
– تقديم مصدر السفر للسفر المهني (مثل المؤتمرات).
– ذكر اسم المؤسسة في السرد المالي.
– تضمين أسماء رئيس المشروع أو المشاركين في جداول الميزانية.
– محاولة “تجميل” المعلومات المحددة بإدراج مستطيل أسود فوق أجزاء من النص، بدلاً من تجميل النص بشكل رسمي باستخدام برامج متخصصة.
– تضمين وثيقة “الخبرة والموارد غير المجهولة” في ملف PDF الرئيسي للاقتراح.

استعراض الأسئلة والأجوبة حول مراجعة الأقران المجهولة المزدوجة

فيما يلي بعض الأسئلة والأجوبة حول مراجعة الأقران المجهولة المزدوجة:

– س1: إذا انزلقت في تجهيز اقتراحي بشكل مجهول، هل سيتم إعادته دون مراجعة؟
– ج1: تفهم ناسا أن مراجعة الأقران المجهولة المزدوجة تمثل تحولًا كبيرًا في تقييم الاقتراحات، وبالتالي قد يحدث بعض الانزلاقات في كتابة الاقتراحات المجهولة المزدوجة. ومع ذلك، تحتفظ ناسا بالحق في إعادة الاقتراحات التي تكون فاضحة بشكل خاص فيما يتعلق بتحديد هوية فريق المقترحين.
– س2: كيف ستتعاملون مع تضارب المصالح والتحيز؟
– ج2: سيقوم علماء البرنامج في ناسا بفحص أسماء أعضاء الفريق والمؤسسات المشاركة. خلال مناقشة الاقتراح المجهول، إذا أصبحت هويات أعضاء الفريق واضحة للمراجع، يجب على المراجع الكشف عن أي تحيزات قوية تمنعهم من تقديم تقييم موضوعي.
– س3: إذا كانت هوية “فرق المقترحين والمؤسسات” ملفوفة في السرية، فكيف يمكن لفرق المقترحين والمؤسسات مناقشة سجلها، والعمل الجاري، والجهود المكملة، والأصول المؤسسية؟
– ج3: لا يوجد منع في الاقتراح المجهول من مناقشة هذه الجوانب، بل يجب مناقشتها دون الإشارة إلى محقق معين أو مجموعة. في مثل هذه الحالات، توصي ناسا بكتابة “العمل السابق” بدلاً من “عملنا السابق”؛ أو استخدام عبارات مثل “تم الحصول عليها في اتصال خاص”. يجب أن يكون المقترحون قادرين على إثبات حالتهم من خلال وصف برنامجهم المقترح للمراقبات والتحليلات التي يقدمونها والتي تتطلب المهارات اللازمة لتحقيق النجاح؛ إذا كانت المهارات المحددة مطلوبة، ستلاحظ اللجنة ذلك وستتمكن من التحقق من ذلك عندما تستشير وثيقة “الخبرة والموارد غير المجهولة”. ستقدم اللجنة تحليلاً كاملاً لوثيقة “الخبرة والموارد غير المجهولة” وتصوت باستخدام مقياس ثلاثي.
– س4: على الرغم من أنه ليس من الممكن عدم إظهار أي معلومات في الاقتراحات التي قد تكشف عن هوية المقترحين، مثل السياق والدافع للبحث المقترح، والمنهجيات الفريدة، والمراجع المستشهد بها، لماذا يتم إبقاء المراجعين يخمنون هوية المقترحين (مما يؤدي إلى عواقب غير مرغوب فيها)؟ وعلاوة على ذلك، يجب أن تكون سجلات المقترحين جزءًا من جدارة الاقتراحات.
– ج4: من المناسب تناول سياق ودافع البحث، فضلاً عن المنهجيات الفريدة والمراجع، وما إلى ذلك. الفرق الرئيسي هو أنه يجب مناقشة هذه الجوانب دون الإشارة إلى محقق معين أو مجموعة في الجزء الرئيسي من الاقتراح. تذكر أن هدف مراجعة الأقران المجهولة المزدوجة هو عدم جعله من المستحيل تمامًا تخمين هويات المحققين، ولكن لتحويل التركيز من الأفراد إلى العلم المقترح.
– س5: من المفترض أن تكون المؤسسة أيضًا مجهولة، كيف يحدد المراجعون ما إذا كانت هناك موارد مؤسسية كافية لإجراء البحث؟
– ج5: سيتم التعامل مع سجلات فرق المقترحين في وثيقة “الخبرة والموارد غير المجهولة” وسيتم التصويت عليها باستخدام مقياس ثلاثي (مؤهلة بشكل فريد؛ مؤهلة؛ غير مؤهلة).
– س6: ما هي التداعيات غير المقصودة المتوقعة لهذا الإجراء؟ هل هذا حقًا يخدم النظام الاستحقاقي؟
– ج6: تشير التجربة المكتسبة من عملية الاقتراح المجهولة المزدوجة في تلسكوب هابل إلى أن هناك عواقب غير مقصودة قليلة. ومع ذلك، تتخذ ناسا إجراءات استباقية لضمان: توافق برامج SMD في التجربة على مراجعة الأقران المجهولة المزدوجة. يتوفر لدى المقترحين معلومات وإرشادات كافية لتجهيز الاقتراحات بشكل مجهول بشكل مناسب. يتم توعية لجان المراجعة بشكل كافي حول مراجعة الأقران المجهولة المزدوجة. لا يتم زيادة مدة كل لجنة بشكل كبير. لا يتأثر تمويل الاقتراحات ذات المخاطر العالية / الأثر العالي بشكل غير متناسب.
– س7: تم تخصيص صفحة إضافية لملخص الاقتراح. لكنني لا أرى ذلك بعد الآن، ماذا حدث؟
– ج7: لم يعد هذا مطلوبًا بعد الآن حيث سيتمكن المراجعون الآن من رؤية الملخص من صفحة NSPIRES. لذا تأكد من أن ملخصك على NSPIRES مجهول!
– س8: هل يُسمح بجدول المحتويات؟ لا أستطيع العثور على أي إشارة إليه في الإرشادات المجهولة المزدوجة أو في نص B.4 HGIO.
– ج8: يحدد كتاب الإرشادات للمقترحين وملخص استدعاءات ROSES القواعد الافتراضية ما لم يتم استبدالها بـ B.1 The Heliophysics Research Program Overview أو عنصر البرنامج. نظرًا لأن كتاب الإرشادات للمقترحين وملخص استدعاءات ROSES يسمحان بجدول المحتويات (بحد أقصى صفحة واحدة)، فإن ذلك مسموح به ما لم يكن ممنوعًا بشكل صريح. لا يوجد أي إشارة إلى ذلك في كل من B.1 أو في B.4 Heliophysics Guest Investigators Open، لذا فإنه مسموح ولا يحتسب ضمن الجزء المحدود من الصفحة الرئيسية للعنصر البرنامجي.
– س9: حتى إذا تمت إشارة المراجعات بالأرقام [1، 2، إلخ.] وتمت مراجعتها بالشخص الثالث، فقد يكون هناك عدد كبير، وربما يكون العدد السائد، من الإشارات إلى عملي السابق. لذلك، فمن الممكن جدًا أن يتمكن المراجع من تخمين من يقدم الاقتراح أو على الأقل من أي مجموعة أو مؤسسة يأتي الاقتراح.
– ج9: نعم، هذا لا يمكن تجنبه إلى حد ما. اختارت ناسا الأقواس المربعة في نص الاقتراح المجهول لكي لا تذكر المراجعين باستمرار من هم المقترحون المحتملون أثناء قراءة الاقتراح. ومع ذلك، في حالة عدم وجود ببليوغرافيا، فإن المراجعين ليس لديهم وسيلة لتقييم أي مطالبات موجودة في الاقتراح. وبالتالي، اخترنا طريقة متوازنة للتعامل مع المراجعات. ملاحظة واحدة: قد يكون هناك عدد سائد من الإشارات إلى عمل مؤلف معين، ولكن عملية المراجعة المجهولة المزدوجة لا تزال لا تجعل من الواضح بنسبة 100٪ من هو رئيس المشروع. على سبيل المثال، يمكن أن يكون رئيس المشروع عضوًا مختلفًا أو سابقًا في المجموعة المستشهدة بشكل متكرر في الاقتراح.
– س10: هل يمكن تقديم مزيد من المعلومات حول محتوى الميزانية والتبرير في الاقتراح المجهول؟
– ج10: قبل كل شيء، يجب على المقترحين أن يفهموا أنه لم يتم تغيير متطلبات إخفاء جميع المعلومات المتعلقة بمستويات الرواتب والفوائد ومعدلات الفوائد العامة من الميزانية وتبرير الميزانية المدرجة في الوثيقة الرئيسية للاقتراح. هذا المتطلب هو نفسه كما كان في الدورات العديدة الماضية للاقتراح. بالإضافة إلى هذا المتطلب، في إطار عملية مراجعة الأقران المجهولة المزدوجة، يجب على المقترحين أيضًا أن يحرصوا على إخفاء الميزانية والتبرير المالي في الوثيقة الرئيسية للاقتراح عن طريق إزالة أي لغة أو شعارات تكشف عن أسماء و / أو مؤسسات أعضاء فريق المقترحين. يرجى ملاحظة أن هذه المتطلبات – الإخفاء والتجهيز المجهول – لا تنطبق على وثيقة “الميزانية الإجمالية”، والتي يتم تحميلها بشكل منفصل عن الوثيقة الرئيسية للاقتراح ولا يراها المراجعون.
– س11: هل يجب أن أقوم بتجهيز بيانات التعريف في اقتراحي بشكل مجهول؟
– ج11: نعم. يرجى التأكد من أن بيانات التعريف (مثل علامات PDF) التي يمكن أن تعطي معلومات حول فريق المقترحين و / أو المؤسسات محذوفة.