اقرأ الكتاب بلا مقابل في موقع مطبعة MIT، فهو منشورٌ بالوصول المفتوح
يرجع الجزء الأول إلى أصل مقاييس النشر. ولا يعنيه كيف يُحتال على مقياسٍ بعينه، بل ما في إدخال أي مقياسٍ من تحايلٍ كامنٍ فيه (ص ٢٧). فالمقاييس لا تستقرّ على حال، ذلك أنّ كل مقياس يولّد تحايله، والتحايل يزحم السوق، فيُعدَّل المقياس، وتبدأ دورةٌ أخرى. فالأهداف، كما يكتب المحرّران، متحرّكةٌ أبداً (ص ٢٧). ويُقرّ عددٌ من فصوله بقيمة قانون غودهارت ثم يحكم بضيقه، لأنّ المقاييس الأكاديمية ليست شيئاً واحداً، بل مؤشراتٌ وتصنيفاتٌ كثيرة تتنازع الانتباه (ص ٢٧).
يلخّص المحرّران الفصول نفسها هكذا: يبيّن تشيسار أنّ روبرت ميرتون حذّر من التحايل على أعداد الاستشهاد قبل أن يشيع استعمالها (ص ٢٧–٢٨)، ويصف جانغرا «عاصفةً كاملة» حوّلت الورقة العلمية من وحدةٍ للمعرفة إلى وحدةٍ للمحاسبة (ص ٢٨). ثم ينتقل باور وفاوترز من الأوراق إلى المؤسسات، فيبيّن باور أنّ البحث في المملكة المتحدة صار يتشكّل بحاجته إلى أن يُظهر أثره قبل أن يُنجَز، ويرى فاوترز أنّ التمييز عسيرٌ بين التحايل على النظام والعمل السليم في داخله (ص ٢٨). ويختم غريزمر الجزء باقتراح أن تُدرس المقاييس باختراقها عمداً (ص ٢٨–٢٩).
الفصل الأول: أليكس تشيسار، «التحايل على المقاييس قبل اللعبة: الاستشهاد والبارع البيروقراطي» (Gaming Metrics Before the Game: Citation and the Bureaucratic Virtuoso)
يتصدّى تشيسار لحكايةٍ شائعة، مؤدّاها أنّ التحايل أثرٌ جانبي للمقاييس لم يحسب له أحدٌ حساباً، وأنّ العصر الذي سبقها كان بريئاً لا يدعوه شيءٌ إلى توقّعه. وهي عنده حكايةٌ تخطئ التاريخ؛ لأنّ الخشية من أن يغيّر قياسُ العلم سلوكَ العلماء كانت حاضرةً في الكلام على مقاييس الاستشهاد منذ أوّله (ص ٣١–٣٢).
يستدلّ على ذلك بمؤتمرٍ في «مؤشرات العلم» انعقد سنة ١٩٧٤م في مركز الدراسات المتقدمة في العلوم السلوكية بستانفورد، وكانت مناسبته أول تقريرٍ أصدرته مؤسسة العلوم الوطنية الأمريكية بعنوان Science Indicators. وكان الكونغرس قد صار، بعد تعديلٍ في القانون سنة ١٩٦٨م، يطلب أرقاماً صلبة عن صحّة العلم (ص ٣٢). دعا إلى الاجتماع عالمُ الاجتماع روبرت ك. ميرتون، وحضره يوجين غارفيلد، صاحب معهد المعلومات العلمية ومخترع «فهرس الاستشهاد العلمي» (Science Citation Index)، وهو فهرسٌ يسجّل ما تحيل إليه كل ورقة من أوراق غيرها (ص ٣٣). وظلّ ميرتون يردّ الحديث إلى «إزاحة الهدف» (goal displacement)، وهو مفهومٌ كان قد أدخله في علم الاجتماع سنة ١٩٤٠م، ومعناه أن تصير القيمة الوسيلية، أي ما يُطلب وسيلةً إلى غيره، غايةً في ذاتها (ص ٣٣–٣٤). ثم كتب إلى غارفيلد بعد الاجتماع أنّ المؤشر متى دخل في نظامٍ للمكافأة عبث به الناس حتى يكفّ عن الدلالة على ما كان يدلّ عليه، وأنّ العلماء سيأخذون في ترتيب الاستشهادات فيما بينهم (ص ٣٤).
تلقّى غارفيلد التحذير هادئاً، وكتب أنّ التحايل إن ظهر في عشر سنين أو عشرين وجب أن يُترك الفهرس مقياساً للجودة (ص ٣٦). فطمأنه ميرتون بأنّ الخطر لن يأتي إلا إذا استُعملت أعداد الاستشهاد استعمالاً واسعاً في التعيين والترقية والمنح، وهو أمرٌ قال إنه «غير وارد» (ص ٣٧–٣٨). ويحكم تشيسار صراحةً بأنّ ميرتون أخطأ (ص ٣٧). وكان غارفيلد قد نشر أول ترتيبٍ له للمجلات في مجلة «ساينس» سنة ١٩٧٢م، وبدأ في السنة نفسها تسويق «تقارير الاستشهاد بالمجلات» التي صارت موطن معامل التأثير (ص ٣٥)، ثم كانت شركته بحلول سنة ١٩٨١م تخطّط لمنتجاتٍ غرضها المعلن تقييم الأفراد والمؤسسات (ص ٣٧).
كان هناك نقّادٌ آخرون رأوا الخطر يومئذٍ: فقد وصفت رسالةٌ إلى مجلة New Scientist ترتيبَ المجلات بأنه «مزبلةٌ متحذلقة»، وسمّى أليكس كمفورت التصنيفات «قوائم الأغاني الرائجة للعلم» (ص ٣٦).
يرى تشيسار أنّ قانون غودهارت وإزاحة الهدف يتّجهان وجهتين متعاكستين، فالقانون معنيٌّ بما يصيب المقياس من فساد، ومفهوم ميرتون معنيٌّ بما يصيب الشيء المقيس، أي المشروعات التي يختارها الناس وطريقتهم في إنجازها (ص ٣٧). ثم يأخذ على الإطارين كليهما أنهما يعاملان العلم معاملة شركةٍ اتّفق أهلها على أهدافها، ولا اتفاق كهذا في نظامٍ ديمقراطي، فالجدل في مقياسٍ للعلم هو أيضاً جدلٌ في مشروعية العلم عند الجمهور (ص ٣٨). ويقترح أن يُقلب القانون ليصف التسلسل الذي جرى عليه التاريخ في العادة:
«لا يشيع اتّخاذ المقياس مقياساً جديراً بالاستعمال إلا حين يصير هدفاً.» (ص ٣٩)
الفصل الثاني: إيف جانغرا، «تحوّل الورقة العلمية: من وحدةٍ للمعرفة إلى وحدةٍ للمحاسبة» (The Transformation of the Scientific Paper: From Knowledge to Accounting Unit)
يأخذ جانغرا الأمر من بنيته. فمنذ أواسط التسعينيات اجتمعت ثلاثة تحوّلات: جعل الإنترنت والنشر الإلكتروني المجلاتِ تولد رقمية، وتركّزت تجارة المجلات في شركاتٍ كبيرة قليلة تُحاسَب في سوق الأسهم، فنشأت أزمةٌ في أسعار الاشتراكات كان الوصول المفتوح جوابها، واتّجه تقييم البحث إلى الأرقام (ص ٤٣–٤٤). ولكل تحوّلٍ منها آثاره، غير أنّ أطروحته أنّ تفاعلها، وهو ما يسمّيه «العاصفة الكاملة»، هو الذي هيّأ لتزايد السلوك المنحرف عند العلماء والمحرّرين ومديري الجامعات (ص ٤٤). ويُخرج من نموذجه البحثَ الذي يُجرى للربح، ويحيل فيه إلى فصل سيسموندو (ص ٤٤).
يبدأ جانغرا من الصورة المعهودة لسير العلم كما أخذها عن ميرتون وبورديو: ينشر العالم كشفه، فتُدخله مراجعة الأقران إلى الحقل، وتجلب له الاستشهاداتُ الاعتراف، ويجلب له الاعترافُ الموارد لبحثٍ آخر (ص ٤٥–٤٦). فالورقة في هذه الدورة «وحدةٌ للمعرفة» (ص ٤٥)، ومراجعة الأقران بوّابتها.
فإذا صارت الورقة وحدةً للمحاسبة تغيّرت الدورة (ص ٤٧، الشكل ٢-٢). وأوّل ما تغيّر قواعد البيانات. كان «فهرس الاستشهاد العلمي» في أول أمره لا يسجّل من المؤلفين إلا الأول، لأنّ ذلك كان يكفي للعثور على الورقة، ثم صارت القواعد تسجّلهم جميعاً لأنّ بياناتها صارت تُستعمل في تقييم الأشخاص (ص ٤٧). وبقي الفهرس منفرداً بالميدان حتى أطلقت «إلسيفير» قاعدة Scopus سنة ٢٠٠٤م (ص ٤٧). ثم تكاثرت المجلات، فقد نقل الوصول المفتوح الكلفة من المكتبات إلى المؤلفين، ولمّا كان إنشاء المجلة على الشبكة قليل الكلفة انفتح الباب لمجلاتٍ تعرض النشر السريع على من يعسر عليه أن يجد لعمله موضعاً (ص ٤٧–٤٨). وتكاثرت العلامات الراسخة أيضاً، فقد أنشأت «نيتشر» منذ العقد الأول من هذا القرن أكثر من ثلاثين مجلةً تحمل اسمها (ص ٤٨).
أمّا الاستشهادات فقد حلّ محلّها معامل التأثير. نُشر أول مرة سنة ١٩٧٥م أداةً لأمناء المكتبات، ثم صار موضع نزاع في أواسط التسعينيات حين استُعمل في الحكم على الباحثين (ص ٤٨). ذلك أنّ الاستشهادات تتراكم في سنين، والتقييم يريد السرعة، فيقوم رقم المجلة مقام رقم الورقة (ص ٤٨). وقد دفعت باكستان والصين وكوريا الجنوبية واليابان حوافز مربوطةً بمعاملات التأثير مباشرة (ص ٤٩). وظهرت منتجاتٌ جديدة للترتيب، منها «مؤشر نيتشر» (Nature Index)، أُطلق سنة ٢٠١٤م، ويرتّب المؤسسات بما نشرته في ثمانٍ وستين مجلة، سبع عشرة منها من مجموعة «نيتشر» نفسها (ص ٥٠). وآخر ذلك المقاييس البديلة (altmetrics)، كالتنزيلات والمشاهدات والتغريدات، وهي تقيس شيئاً غير ما تقيسه الاستشهادات، وتأتي من جمهورٍ لا يُعرف، ويصفها جانغرا بأنها فجّةٌ سيّئة التعريف (ص ٥٠–٥١).
لا يقطع جانغرا في خاتمته بحكم. فبنية العلم ظلّت مستقرةً أكثر من ثلاثة قرون، ثم تغيّرت في عشرين سنة، ولا سبيل بعدُ إلى الحكم على آثار ذلك البعيدة (ص ٥١). ويذكر حركة «العلم البطيء» (slow science) ردّاً من الردود على هذا التحوّل (ص ٥١).
الفصل الثالث: مايكل باور، «أن تلعب وأن يُلعَب بك في لعبة أثر البحث» (Playing and Being Played by the Research Impact Game)
تصدّر قسما الفلسفة في جامعتَي برمنغهام وكيل معاً، سنة ٢٠١٤م، جدولَ ترتيبٍ بريطانياً بمعدّل درجاتٍ بلغ ٣٫٨٠، وجاءت أكسفورد عاشرةً بمعدّل ٣٫٤٠ (ص ٥٧). وكان الجدول يقيس الأثر، أي ما يعود به البحث من نفعٍ اجتماعي واقتصادي خارج الأكاديميا. وفي «إطار التميّز البحثي» لسنة ٢٠١٤م (REF2014)، وهو تقييمٌ وطني لبحوث الجامعات البريطانية، قدّمت هذه الجامعات ٦٬٩٧٥ دراسةَ حالةٍ للأثر إلى جانب ١٩١٬١٥٠ مُخرَجاً بحثياً (ص ٥٧–٥٨)، وكان عشرون في المئة من تمويل البحث معلّقاً بالأثر (ص ٥٨–٥٩). ويسأل باور كيف تُصنع وقائع كهذه، ولماذا لا يستغربها أحد (ص ٥٨).
أداة ذلك «دراسة حالة الأثر» (Impact Case Study)، وهي سردٌ على قالبٍ محدّد، لكل قسمٍ منه حدٌّ من الكلمات، ويُقدَّر بـ«المدى» و«الأهمية» (ص ٦٠). ويراها باور وحدةً محاسبية جديدة وُضعت فوق المقالة المنشورة في المجلة (ص ٥٩). وصار ما كان يُعدّ قديماً انخراطاً في الشأن العام، كإسداء المشورة للحكومة أو التعليق في الصحف، يسمّى «مسالك إلى الأثر»، ولم يعد يُفترض أنّ له أثراً في ذاته (ص ٥٩). ونشأ عُرفٌ تقريبي بأن تُقدَّم دراسة حالةٍ واحدة لكل عشرة من الباحثين العاملين، وكانت الدراسة التي تنال أعلى درجة تساوي مالاً كثيراً (ص ٥٩–٦٠).
يكتب باور من الداخل. ففي كلية لندن للاقتصاد، حيث كان يعمل، اعتمد كثيرٌ من الأكاديميين على «الشهادة المستدعاة»، وهي أن يسألوا من أثّر فيهم بحثهم أن يكتبوا ذلك في رسالةٍ أو بريدٍ إلكتروني (ص ٦٠–٦١). فشاهدُ الأثر، كما يلاحظ، لم يكن ينتظر من يعثر عليه، بل كان الباحث يصنعه (ص ٦١). وقد أُثيرت مخاوف من الإفراط في ذلك، ووجد المقيّمون أنفسهم هذه الشواهد عسيرة التقدير (ص ٦١).
يرى باور في هذا ما هو أكبر من تحايل الأفراد، إذ يكشف طريقة عمل النظام نفسه. فالقواعد في جملتها «لعبةٌ عليا» (meta-game)، أي قواعد تُنتج ضرباً معيّناً من الحقيقة بالمعنى الذي أراده فوكو (ص ٥٨، ٦٢). وفي الجامعات اليوم موظّفون للأثر، وطلبات المنح تسأل عن الأثر المتوقّع سلفاً، فقد انقلب الأثر من نتيجةٍ تُقاس بعد العمل إلى هدفٍ يُرسم قبله (ص ٦٢). وحتى حين لا تدخل المقاييس في التقييم، تمهّد القوالبُ الأرضَ لتحويل السرديات إلى درجات (ص ٦٣). ويرى وراء ذلك كله «منطق القابلية للتدقيق» (logic of auditability)، أي اضطراراً إلى إنتاج الشواهد فحصها أحدٌ أم لم يفحصها؛ وقد قال مقيّمو الإطار إنّ وقتهم لم يكن يتّسع لفحص المصادر (ص ٦٤).
ثم يختم بأفلاطون وأرسطو، وقد بلغ أثرهما من السعة والانتشار ما كان يمتنع معه أن يكتبا عنه دراسة حالة:
«كلما عظم أثرك حقاً عسُر عليك أن تقدّم عنه حساباً.» (ص ٦٥)
ففي نظامٍ كهذا يصير الاشتغال بالفكر وتأليف الكتب الطويلة ضرباً من الانحراف (ص ٦٥).
الفصل الرابع: بول فاوترز، «سوء قياس الجودة والأثر» (The Mismeasurement of Quality and Impact)
يتناول فاوترز المشكلة التي طرحتها مقدمة المحرّرَين، وهي أنّ التقييم إذا اعتمد على البدائل (proxies)، أي على أرقامٍ تنوب عن الشيء المقيس، عسُر التمييز بين التلاعب بالمؤشر والبحث الجيد (ص ٦٧). وهو يوافق المحرّرَين على صورتهما العامة ويقيّدها؛ فالتقييم أشدّ اضطراباً مما يوحيان به، والقراءة ما زالت تجري في كثيرٍ من التقييمات، ومعامل التأثير ليس المؤشر الوحيد المستعمل (ص ٦٧). ويحذّر من أنّ الاتجاه إن استمرّ فقد ينتقل العمل الذي لا تُظهره المؤشرات إلى الهواة، أو يختفي (ص ٦٧).
جرت العادة بأن تُوضع مراجعة الأقران ومؤشرات الاستشهاد موضع التقابل، كيفاً في مقابل كمّ، وهما في الممارسة متلازمتان أشدّ التلازم (ص ٦٩). وعلى ردّ هذا التقابل يبني فاوترز حجّته. فالاستشهادات نفسها اختياراتٌ يختارها المؤلفون لدواعٍ فكرية واستراتيجية لا ينفصل بعضها عن بعض (ص ٦٩). والذين يستشهدون والذين يراجعون جماعةٌ واحدة في الغالب (ص ٦٩–٧٠). ولمّا علم الباحثون أنّ قوائم مراجعهم تؤثّر في مسارات غيرهم المهنية صار استشهادهم أكثر استراتيجية (ص ٧٠). والمقيّمون يرجعون بحكم العادة إلى درجات Web of Science أو Scopus أو Google Scholar، وهي قواعد تحصي الاستشهادات، وإن نهتهم قواعد التقييم عن ذلك، والباحثون يصطنعون لأنفسهم «نظرياتٍ شعبية في الاستشهاد» (folk citation theories) ليقرؤوا بها هذه الدرجات (ص ٧٠).
يمسّ هذا مقترحات الإصلاح مباشرة. فقد اقترح التقرير البريطاني The Metric Tide («مدّ المقاييس») خمسة مبادئ لـ«مقاييس البحث المسؤولة» (responsible research metrics)، هي المتانة والتواضع والشفافية والتنوّع والانعكاسية (ص ٧١). ويقول «بيان لايدن» (Leiden Manifesto) إنّ التقييم الكمّي ينبغي أن يُسند تقدير الخبراء (ص ٧١). وفاوترز في شكٍّ من ذلك، لأنّ «مراجعة الأقران المستنيرة» (informed peer review)، أي المراجعة التي تستعين بالأرقام، تفترض مصدرين مستقلين للشاهد يؤيّد أحدهما الآخر، وهما غير مستقلين (ص ٧٢). ولمراجعة الأقران عيوبها كذلك، فقد تحابي شبكات «الرفاق القدامى»، وتميّز ضدّ النساء والأقليات، وتُقصي العمل الجذري والعمل العابر للتخصصات (ص ٧٢). والمؤشرات تخطئ هي الأخرى، فارتفاع عدد الاستشهادات قد يعني عملاً عظيماً، وقد يعني تكتّلاً للاستشهاد (ص ٧٢).
يقترح فاوترز أن يحلّ «الحكم في السياق» (contextualized judgment) محلّ «مراجعة الأقران المستنيرة»، فيتقدّم السياق ويسقط الفصل الزائف بين مراجعة الأقران والمؤشرات (ص ٧٣). وينبغي في رأيه أن يوجّه تصميمَ كل تقييمٍ سؤالان: كيف سيؤثّر في إنتاج المعرفة الخلّاقة، ومن يملك زمام جدول أعمال البحث (ص ٧٤). والتقييم عنده، آخر الأمر، مسألةٌ سياسية في نوع المجتمع الذي نريده (ص ٧٤).
الفصل الخامس: جيمس غريزمر، «الصعود بقانون غودهارت درجةً: التحايل، والتحايل على التحايل، واختراق مقاييس الأداء الأكاديمي» (Taking Goodhart's Law Meta: Gaming, Meta-Gaming, and Hacking Academic Performance Metrics)
يبدأ غريزمر، وهو فيلسوف، بتعميق قانون غودهارت. فالقانون عنده لا يقف عند وصف استجابة الناس للأهداف، بل يصف، كما يصف «نقدُ لوكاس» (Lucas critique) في الاقتصاد، سياسةً تغيّر البنية السببية لما تقيسه (ص ٧٧–٧٨). فإذا صارت المقاييس معايير صارت الغاية أن يتفوّق المرء على المعيار، وصار العمل نفسه أثراً جانبياً (ص ٧٨). ويستشهد بقول شامايو إنّ الغاية تصير كتابة المقالات لا إجراء البحث (ص ٧٨). ولهذا يرى من العسير أن يقف المرء من الممارسات «المفترسة» موقف الواعظ، كأنّ صورة الممارسة الأخلاقية في عالمٍ كهذا واضحة (ص ٧٧). فما يبدو سيّئاً بالمعايير القديمة قد يكون تكيّفاً عادياً بالمعايير الجديدة، والحكم الأخلاقي يتخلّف عن التقييم بالأرقام (ص ٧٩). ولن يأتي الإصلاح من العثور على مقياسٍ أفضل، لأنّ «سلّة» المقاييس سيُتحايل عليها هي أيضاً، فالمعيار يجب أن يكون معلناً ليكون عادلاً، ويجب أن يكون سرّياً ليمتنع على التحايل (ص ٨١، ٨٤).
فإن صحّ قانون غودهارت، كان التحايل هو الحال الطبيعية لنظامٍ حسن التكيّف، وكان على الباحثين أن يبحثوا عن المواضع التي يخفق فيها الناس في التكيّف، بل أن يذهبوا أبعد من ذلك فيخترقوا المقاييس عمداً على سبيل التجربة (ص ٨٢–٨٣). حتى إنه يرى أنّ المجلات «المفترسة» يمكن أن تُعدّ رائدةً في الاختراق إذا نُحّي عنها دافع الربح (ص ٨٣). وعلى دارسي العلم عنده أن يجرّبوا في مقاييسهم هم، على سنّة التجريب على النفس في الطب (ص ٨٤). ويضرب لذلك مثلاً قائماً بتجربة لابيه في «آيك أنتكير» (ص ٨٤).
ثم يرسم لذلك خطةً عملية، هي سلسلةٌ من المجلات المازحة علناً تسمّى PuLP، اختصاراً لـ«المكتبة العامة للفلسفة» (Public Library of Philosophy)، وهو اسمٌ اقترحه جوناثان آيزن (ص ٨٤–٨٥). تنشر PuLP، على ما يتصوّره، مراجعاتٍ للمقاييس وشهاداتٍ شخصية عمّا صنعته المقاييس بالناس وبحوثاً في دراسات العلم، وتخترق المقاييس جهاراً، كأن تنشر أوراقاً يوقّعها خمسمئة مؤلف وتستشهد بمجلات PuLP الأخرى، حتى تصنع لنفسها ما تشاء من معامل تأثيرٍ أو مؤشر هيرش (h-index) (ص ٨٥)، وهو رقمٌ يُحسب للباحث من عدد أوراقه وعدد ما يُستشهد به منها معاً، فمن كان له عشرون ورقة استُشهد بكلٍّ منها عشرين مرة على الأقل كان مؤشره عشرين. ولن تُطرح على أنها رديئة، لأنّ جودة ما تنشره من بحثٍ تمنع ذلك (ص ٨٦). وليست الغاية أن تُلغى المقاييس، بل أن تظهر اعتباطيّتها، وأن يعود التقييم إلى الحكم على العمل نفسه (ص ٨٥–٨٦).
«إن كان بقاء المشروع البحثي يقتضي اختراق المقاييس، فلتبدأ الألعاب!» (ص ٨٦)