التحايل على المقاييس: خلاصة تحليلية

مدخل

صدر كتاب «التحايل على المقاييس: سوء السلوك والتلاعب في البحث الأكاديمي» (Gaming the Metrics: Misconduct and Manipulation in Academic Research) سنة ٢٠٢٠م عن مطبعة معهد ماساتشوستس للتقنية (MIT Press) في سلسلتها «البنى التحتية» (Infrastructures)، وهو إحدى وعشرون مقالةً جمعها وحرّرها ماريو بياجولي وألكسندرا ليبمان. وأصله لقاءٌ عُقد سنة ٢٠١٦م في جامعة كاليفورنيا في ديفيس باسم «التحايل على المقاييس» (Gaming Metrics)، ومشروعٌ للجامعة نفسها في الاتصال العلمي (ص ٢٨٣). ونصّه كاملاً يُقرأ بلا مقابل في موقع مطبعة MIT، لأنه منشورٌ بالوصول المفتوح، أي بلا اشتراك ولا ثمن، بموجب رخصة المشاع الإبداعي CC BY-NC-ND، وهي تبيح نقله منسوباً إلى أصحابه، وتمنع استعماله في التجارة وتغييره.

أمّا موضوعه فما يصيب البحثَ العلمي حين يُوزن بالأرقام. ولا يعني فيه بالثالوث القديم لسوء السلوك البحثي، وهو اختلاق البيانات وتحريفها وانتحال عمل الغير، بل بطائفةٍ أحدث من الممارسات لا تمسّ الورقة نفسها، وإنما تعمل في الأرقام المحيطة بها: مراجعاتٌ مزيّفة وتكتّلاتٌ للاستشهاد ومجلاتٌ وُجدت لتُدرج في القوائم لا لتُقرأ وجامعاتٌ تفصّل نفسها على مقاس جداول الترتيب، ثم الذين يكشفون ذلك كله. والمراجعة المقصودة هنا مراجعة الأقران (peer review)، وهي أن تعرض المجلة الورقة قبل نشرها على باحثين من أهل تخصّصها يحكمون أتصلح للنشر أم لا. والاستشهاد أن يحيل الباحث في ورقته إلى عمل غيره، وقد صار عدد ما يُحال إلى الورقة من غيرها يُتّخذ مقياساً لقيمتها.

الأطروحة: من «انشُر أو اندثِر» إلى «أثِّر أو اندثِر»

يبدأ المحرّران من شعارٍ تبدّل. فقد كان سوء السلوك يُردّ إلى ضغط النشر، وكان طبيب القلب الذي افتُضح أمره سنة ١٩٨٦م لأنه روى تجارب لم تقع ينشر في مرحلةٍ من عمله مقالةً كل عشرة أيام (ص ١). ولم يزل ذلك الضغط، غير أنّ ضغطاً آخر انضمّ إليه، هو أنّ الباحث صار يُكافأ على «تأثير» ما ينشره كما تقيسه الأرقام أكثر مما يُكافأ على مقداره. فشعار «انشُر أو اندثِر» (publish or perish) يمتزج اليوم بشعار «أثِّر أو اندثِر» (impact or perish) (ص ١).

على أنّ المحرّرَين يميّزان دعواهما من قانون غودهارت (Goodhart's law)، ومؤدّاه أنّ المؤشر إذا صار هدفاً تحايل الناس عليه حتى يكفّ عن أن يكون مؤشراً صالحاً. فالتحايل الذي يصفه هذا القانون يعدّل ما هو قائم، كأن تعيد مدرسةٌ تعريف الطالب الناجح، أو تجعل جامعةٌ عدد طلاب الصفّ تسعة عشر لتوافق تعريف أحد التصنيفات لـ«الصفّ الصغير» (ص ١). أمّا ما يشيران إليه فشيءٌ آخر، هو أن يصنع المؤلفون والمحرّرون الشاهد نفسه الذي يعدّه المقياس، كأن يستشهدوا بأعمالهم أو بمجلّاتهم. واتّساع استعمال المقاييس عندهما أكثر من داعٍ يدعو الناس إلى ذلك، فهو «يخلق شروط إمكانها» (ص ١)، ولولا ثقافة التدقيق (audit culture)، أي إخضاع الجامعة الحديثة وأهلها للمحاسبة بالأرقام والتقارير، لما كان لهذه الممارسات وجود.

خلاصة مقدمة المحرّرَين

يقصر التعريف الرسمي في الولايات المتحدة سوءَ السلوك على ما تحمله الورقة المنشورة من أقوالٍ كاذبة. أمّا الممارسات الجديدة فتقع حول المنشور لا فيه: مراجعةُ أقرانٍ مدبَّرة وقواعدُ بياناتٍ مخترَقة للمجلات وتكتّلاتُ استشهادٍ بين المؤلفين أو بين المحرّرين (ص ٢). ويسمّيها المحرّران التلاعب بعد الإنتاج (post-production manipulation)، إذ قد تكون الورقة سليمةً كل السلامة ثم تبلغ مجلةً عالية التأثير بمراجعاتٍ مزيّفة. ولا يرضيان أن تُعدّ هذه الممارسات شرّاً أهون، ويتوقّعان أنّ مفهوم سوء السلوك القائم لن يكفيه أن يُمدّ ليتّسع لها، بل سيحتاج إلى أن يُعاد التفكير فيه (ص ٢–٣). وخلاصتهما على وجه التقريب أنها «جرائم بيروقراطية» أكثر منها «جرائم معرفية» (ص ٣).

كان معنى النشر في القرن السابع عشر أن يُذاع الشيء على الناس بأي وسيلة، بالمحاضرة والرسالة وغيرهما، ثم ضاق معناه في العلوم حتى صار بحلول القرن التاسع عشر هو المقالة المطبوعة في المجلة (ص ٤). وظلّ أمرٌ واحد ثابتاً في ذلك كله، هو أنّ القول كان يُحكم عليه بأن يُقرأ. ولم تعد القراءة اليوم لازمة، لأنّ معامل التأثير (impact factor) يلتصق بالمقالة يوم صدورها، وهو رقمٌ يُحسب للمجلة من متوسّط ما تناله مقالاتها من استشهادات، ثم يُنسب إلى كل مقالةٍ تنشرها.

«يولد المنشور مقيَّماً، إن صحّ التعبير.» (ص ٤)

لم تتغيّر هيئة الورقة منذ ثمانينيات القرن العشرين، بل تغيّرت وظيفة بياناتها الوصفية (metadata)، أي اسم المؤلف والمجلة والتاريخ وما إليها، فقد كانت تصف المقالة فصارت تقدّر درجتها (ص ٥). ويشبّه المحرّران التقييم الجديد بفهرسة المكتبات، فكلاهما يعالج البيانات التي عن المنشور ولا يقرؤه (ص ٥).

لا يقدر معامل التأثير أن يقيس أثر المقالة ساعة نشرها، إذ لا أثر لها بعدُ، وإنما هو تنبّؤٌ يُبنى على ما سبقها من مقالات المجلة، على طريقة الجداول الاكتوارية التي تقدّر بها شركات التأمين المخاطر (ص ٦). ومع ذلك يُستعمل مقياساً للقيمة، والمحرّران يأخذان تشبيهه بالمال مأخذ الجدّ. فالجامعات الصينية تدفع مكافآت نقدية بحسب معامل التأثير، تزيد مكافأة الورقة الواحدة منها في «نيتشر» (Nature) أو «ساينس» (Science) على ثلاثين ألف دولار، وتدفع كلية ملبورن للأعمال خمسة عشر ألف دولار أسترالي عن كل ورقة في مجلةٍ من قائمة «فايننشال تايمز» (ص ٦). فمعامل التأثير يعمل عمل القيمة المنقوشة على وجه العملة، فبه تُصرف المقالات في الوظائف، وبه تصرف الجامعات مقالات منسوبيها في مراتب التصنيف وفي الطلاب والمتبرّعين (ص ٧). وينتهي المحرّران إلى أنّ وظيفته أن يُنشئ سوقاً (ص ٧).

اختُزل سوء السلوك التقليدي في ثلاث ممارسات، أمّا التلاعب بعد الإنتاج فصوره بعدد ما هناك من مقاييس وأسواق، وكل مقياسٍ جديد يستدعي تحايلاً جديداً (ص ٨). وما يجمع هذه الصور غايتُها، وهي التلاعب بمقاييس التقييم الأكاديمي (ص ٩). وهو تحايلٌ جماعي: يتّفق محرّرون على أن يستشهد كلٌّ منهم بمجلّات الآخرين، ويعقد مؤلفون حلقاتٍ لمراجعة أقرانٍ مزيّفة، وتدبّر خدماتُ التحرير لعملائها مراجعين متساهلين بأجر، وتهذّب الجامعات بياناتها لتلائم التصنيفات (ص ٩).

تجمع المقدمة من هذه الحالات طائفةً تعود فصول الكتاب إلى عددٍ منها. أوّلها ما يسمّى المجلات المفترِسة (predatory journals)، وهي مجلاتٌ تتقاضى من المؤلفين رسوم النشر ولا تكاد تراجع ما تنشره، ومعها مؤتمراتٌ يدفع فيها المرء ثمن أن يعرض بحثه. ويراها المحرّران قاعَ اقتصاد المقاييس نفسه، فهي تنتج «رموزاً للنشر» لا منشورات (ص ٩–١٠). ومنها الاستشهاد الذاتي في المجلات، أي أن تستشهد المجلة بما نشرته هي، فقد قفز معامل تأثير مجلة Journal of Biomolecular Structural Dynamics من ١٫١ إلى ٥٫٠ بين سنتَي ٢٠٠٩ و٢٠١٠م، فأُخرجت من «تقارير الاستشهاد بالمجلات» (Journal Citation Reports)، وهي القائمة السنوية لمعاملات التأثير (ص ١٠). وكانت المجلات التي أُخرجت منها على هذا النحو تسعاً سنة ٢٠٠٧م، فصارت ثمانياً وثلاثين سنة ٢٠١٣م (ص ١١). ومنها تكتّل الاستشهاد (citation cartel)، وهو أن تتّفق مجلاتٌ على أن يستشهد بعضها ببعض. وقد أنشأت ثماني مجلات برازيلية تكتّلاً كهذا سنة ٢٠٠٩م، وانكشف أمره سنة ٢٠١٣م، حين كانت أربعٌ منها بين أربع عشرة مجلة عُلّقت (ص ١١). وألقى أحد محرّريها اللوم على الهيئة الوطنية «كابس» (CAPES)، وكانت تقيّم برامج الدراسات العليا في جانبٍ من تقييمها بمعاملات تأثير المجلات التي ينشر فيها طلابها (ص ١١).

ثم كان هناك SCIgen، وهو مولّدٌ آليّ للأوراق كتبه ثلاثةٌ من طلاب الدراسات العليا في معهد ماساتشوستس للتقنية ليفضحوا المؤتمرات الزائفة، فاستعمله غيرهم جادّين، حتى اضطرّت دار «سبرينغر» (Springer) ومعهد مهندسي الكهرباء والإلكترونيات (IEEE) إلى سحب أكثر من مئةٍ وعشرين ورقةً مولَّدة، أي إلى إعلان بطلانها ورفعها من سجلّ ما نشرتاه (ص ١١–١٢). ومنها مراجعة الأقران المزيّفة، وهي أن يقترح المؤلف على المجلة مراجعين لورقته بعناوين بريدٍ إلكتروني يملكها هو، فيراجع ورقته بنفسه. وكان موقع Retraction Watch، وهو يرصد الأوراق المسحوبة ويروي قصصها، قد أحصى منها يومئذٍ أكثر من ستمئة ورقة (ص ١٢). وهناك شركاتٌ مزيّفة تُصدر معاملات تأثير، وتتسمّى بأسماءٍ قريبة من أسماء الشركات الحقيقية (ص ١٣). وآخر الحالات جامعاتٌ تقصد التصنيفات قصداً، فقد صعدت جامعة نورث إيسترن في ترتيب U.S. News من المرتبة ١٦٢ سنة ١٩٩٦م إلى ٩٨ سنة ٢٠٠٦م، ثم إلى ٤٤ سنة ٢٠١٨م (ص ١٣). وفي حاشيةٍ حالةُ جامعة الملك عبد العزيز، وقد ارتفعت في تصنيفٍ لأحد التخصصات بعد أن عيّنت علماءَ في الرياضيات كثيراً ما يُستشهد بهم أساتذةً غير متفرّغين (ص ٢٠، الحاشية ١٩).

لا يصلح لفظا «الزائف» و«المفترس» عند المحرّرَين لكثيرٍ من هذا. فالمجلات المشبوهة تنشر مقالاتٍ فعلاً، ويُستشهد ببعضها، ويشتري ناشرون من التيار الرئيس بعضَها (ص ١٤). ويبدو لهما أنّ الحملة المتّصلة عليها وسيلةٌ يعرّف بها النشرُ في الشمال العالمي، أي في البلدان الغنية، نفسَه بضدّه (ص ١٥). ثم إنّ الأكاديميين الذين ينشرون فيها قلّما يكونون مخدوعين. فيقترحان لفظ «النشر الشبيه بالبريد المزعج» (spammish) لممارساتٍ تشبه البريد المزعج، وهو الرسائل الدعائية التي تملأ صناديق البريد بلا طلب، غير أنّ فيها شيئاً من التواطؤ، فيستطيع المؤلف أن يقدّمها كما يناسبه على أنها مشروعة أو على أنها خدعةٌ وقعت عليه (ص ١٥–١٦).

لا يرى المحكّم كثيراً من هذا التلاعب الجديد وهو يقرأ المخطوطة، لأنه لا يظهر إلا في قواعد بيانات المجلات، في عبارات المراجعات ومُدد إنجازها وأنماط الاستشهاد، وهذه شواهد يحتكرها الناشرون في الغالب (ص ١٦). وفي هذه الأثناء ظهر رقباء جدد، منهم Retraction Watch، ومنهم PubPeer، وهو موقعٌ يناقش فيه القرّاء الأوراق بعد نشرها، ومنهم مدوّناتٌ مثل Science Fraud، وقد توقّفت. وليست لهؤلاء سلطةٌ في القانون، لكنهم يعتمدون على قرّاءٍ كثيرين لا تُعرف أسماؤهم في الغالب، وعلى علانيةٍ قد تُلجئ المؤسسات إلى التحرّك (ص ١٧). وهم يسيرون عكس اتجاه المقاييس، فلا يجمعون البيانات الوصفية جمعاً آلياً، بل يقرؤون البيانات والصور والنصوص قراءةً متأنّية (ص ١٧). وكثيراً ما يعملون بالدعابة، فيلتبس الحدّ بين «رجال الشرطة» و«أصحاب المقالب» (ص ١٧).

بناء الكتاب

يلي المقدمةَ أربعةُ أجزاء، يمهّد المحرّران لكلٍّ منها بكلمةٍ قصيرة. فالجزء الأول، «ما وراء المقاييس وما قبلها»، خمسة فصول تعود إلى منشأ مقاييس الاستشهاد، وتسأل هل قانون غودهارت هو الإطار الصحيح لفهمها. والجزء الثاني، «التلاعب الجماعي»، أربعة فصول في تحايل الجماعات والمؤسسات: في تصنيفات الجامعات وفي النشر المفترس في جمهورية التشيك وفي التأليف المشترك وفي أوراق الأدوية التي تتولّى الشركات تدبيرها من وراء ستار.

أمّا الجزء الثالث، «تدخّلات: مذكّرات من الميدان»، فأكثر فصوله الثمانية بأقلام من يتولّون الرقابة أنفسهم. يكتب فيه أصحاب Retraction Watch وأصحاب PubPeer ومدوّنٌ كان يكتب باسمٍ مستعار، ويكتب فيه من اخترع عالِماً وهمياً كثير الاستشهاد به، ومن زرع محرّرين وهميين في هيئات تحرير مجلاتٍ رديئة، ومطوّرةٌ للمقاييس البديلة، وهي المقاييس التي تحصي ما يلقاه البحث من انتباه على الشبكة، ومستشارةٌ في أخلاقيات النشر؛ وبين هذه الفصول دراسةُ حالةٍ لقضية فوانيه. ويعالج الجزء الرابع، «المحاكاة للسخرية أو للربح»، في أربعة فصول مجلاتِ البريد المزعج والسلعَ المقلَّدة ومستودعاً ساخراً لما قبل النشر، أي لأوراقٍ يرفعها أصحابها قبل أن تنشرها المجلات، ثم دعابةَ الرقباء الجدد.

فصول الكتاب قصيرة، وبعضها شهاداتٌ شخصية لا أوراقٌ بحثية، وهو يقول ذلك صراحةً في عنوان جزئه الثالث.

المحرّران والمساهمون

مصدر هذا الباب قائمة المساهمين في الكتاب (ص ٢٨٥–٢٨٦) وما تقوله الفصول عن أصحابها، والصفات المذكورة صفاتهم حين صدر الكتاب سنة ٢٠٢٠م.

كان ماريو بياجولي يومئذٍ أستاذاً متميّزاً (Distinguished Professor) في كلية الحقوق وقسم الاتصال بجامعة كاليفورنيا في لوس أنجلوس (ص ٢٨٥)، والمقدمة تفيد من كتاباته السابقة في التحايل على الاستشهاد وفي التقييم في عصر المقاييس (ص ١، ٢٠). أمّا ألكسندرا ليبمان فكانت أستاذةً مساعدةً زائرة في كلية بيتزر (ص ٢٨٦)، وقد شاركته كتابة المقدمة، وكتبت الفصل الأخير في الدعابة والخدع.

جاء المساهمون من تاريخ العلم وعلم اجتماعه، ومن علم القياس العلمي (scientometrics)، وهو قياس الإنتاج العلمي بعدّ الأوراق والاستشهادات، ومن المحاسبة والقانون والفلسفة ودراسات الإعلام والعلوم المخبرية، ومن صفوف الرقباء أنفسهم. وكتّاب الجزء الأول خمسة، على ما كانوا عليه يوم صدور الكتاب: أليكس تشيسار، مؤرخ العلم في جامعة هارفارد؛ وإيف جانغرا، مؤرخ العلم وعالم اجتماعه في جامعة كيبك في مونتريال؛ ومايكل باور، أستاذ المحاسبة في كلية لندن للاقتصاد؛ وبول فاوترز، أستاذ علم القياس العلمي ومدير مركز دراسات العلم والتقنية في لايدن؛ وجيمس غريزمر، الفيلسوف في جامعة كاليفورنيا في ديفيس (ص ٢٨٥–٢٨٦).

أمّا الجزء الثاني فكتب فيه باربرا كيم، من مركز لايبنيتس للعلم والمجتمع في هانوفر؛ وسارة دي رايكه، أستاذة دراسات العلم والتقنية والابتكار في لايدن؛ وتيريزا شتوكيلوفا، من معهد علم الاجتماع في أكاديمية العلوم التشيكية ومن جامعة كارلوفا؛ ودانييلي فانيلي، زميلٌ في المنهجية الكمّية بكلية لندن للاقتصاد؛ وسيرجيو سيسموندو، الفيلسوف في جامعة كوينز بكندا (ص ٢٨٥–٢٨٦).

الجزء الثالث أكبر الأجزاء، وكتّابه: إيفان أورانسكي، أحد مؤسّسَي Retraction Watch (ص ١٤١)، وتذكره القائمة كاتباً مقيماً متميّزاً في معهد كارتر للصحافة بجامعة نيويورك؛ وبوريس باربور، مدير البحث في مدرسة علوم الأعصاب في باريس إيل دو فرانس وعضو مجلس مؤسسة PubPeer؛ وبراندون ستيل، أحد مؤسّسي مؤسسة PubPeer والباحث في المركز الوطني للبحث العلمي الفرنسي (CNRS)؛ وكاترين غاسبار، عالمة الاجتماع في المركز الوطني للبحث العلمي، وإيمانويل ديدييه، أحد مؤسّسي مختبر Epidapo المشترك بين المركز الوطني للبحث العلمي وجامعة كاليفورنيا في لوس أنجلوس والباحث الدائم فيه؛ وبول بروكس، أستاذ التخدير وأستاذ الصيدلة ووظائف الأعضاء في جامعة روتشستر؛ وبوركهارد مورغنشترن، أستاذ المعلوماتية الحيوية في غوتنغن؛ وجينيفر لين، من Crossref، وكانت قبلها في PLOS (ص ٢١٣)؛ وإليزابيث ويجر، المستشارة والمدرّبة في النشر الطبي ومؤسِّسة Sideview (ص ٢٨٥–٢٨٦).

بقي الجزء الرابع، وفيه كتب فين برونتون، باحث الإعلام في جامعة نيويورك وصاحب تاريخٍ للبريد المزعج (ص ٢٤٣)؛ وماري أندريه جاكوب، أستاذة القانون في جامعة ليدز؛ وأليساندرو دلفانتي، من قسم الثقافة والإعلام الجديد في جامعة تورنتو (ص ٢٨٥–٢٨٦).

أمّا الفصل الرابع عشر فيحمل توقيع آيك أنتكير (Ike Antkare)، وهو شخصٌ لا وجود له، يُنطق اسمه نطقَ العبارة الإنجليزية I Can't Care («لا يعنيني الأمر»)، صنعه سيريل لابيه ليكون مؤلفاً لأوراقٍ يولّدها الحاسوب، كما يبيّن الكتاب (ص ١٣٩؛ وانظر ص ٨٤، وفيها الكلام على «تجارب لابيه بمؤلفه المتخيَّل»، وص ٢٧٤). وحواشي الفصل نفسه تذكر أنّ الاسم المستعار يستر استشهاداً ذاتياً، وتعطي عنوان لابيه لمن أراد مراسلته (ص ١٨٩، الحواشي ١–٣). ولابيه في القائمة محاضرٌ (Maître de Conférences) في جامعة غرونوبل ألب (ص ٢٨٦).

أقسام العمل