急驚風狂想曲 研究評比樂章
急驚風狂想曲 研究評比樂章
急驚風
急驚風是一位中年婦人，職業可歸屬於「科技人」。既然文章要在「女科技人電子報」上刊登，當然就不能不提一下一路走來因為社會性別刻板印象的「坎坷經歷」。話說急驚風在單一性別班級待了八年後（小學五六年級加上國中與高中各三年），突然進入「萬綠叢中一點紅」的環境，硬是沉寂了四年（當然也不是說之前就不沉寂啦！）。並不是同年級男同學不友善，「相處淡如水」可能是更合適的描述。隨著年齡增長，急驚風似乎比較容易融入所屬社群，至少表面上看起來是如此。某日，在書店注意到一本書[1]，專門討論特定個性的人。根據這本書，那樣的人約占總人口四分之一，其性格特質包含：特別愛獨處等（對急驚風而言，獨處可是一大享受！）。急驚風這才放下心來，原來自己應該不是怪胎。如此回想，縱使大學四年在「萬紅叢中」渡過，結果應差異不大；自己生性古怪與同班同學皆為異性（類？）無關。
因為急驚風的孤僻個性，加上「目色」不好，常發生以下尷尬狀況：急驚風：「你好，我是某某單位的急驚風」。對方：「你好，我們上回在某某會議上見過面啊，期間還一起用餐討論過某某課題…」。急驚風：「啊…」（因記憶力不好，作羞愧狀，不知如何接下一句）。急驚風雖年未到七十，卻想「從心所欲」，決定對於「擴大同業人脈」這事業就不去發展了吧。故多年過去，急驚風同行認識不到幾位，交遊狹隘；連帶對專業相關事務都不太有基本概念。
那日側聞同業們熱烈討論正在進行中某某「士」的選拔與研究成果評量。與「士」有關的，一定是作大業（偉大專業）的人物了！至於研究成果評量方法，近年來因為資訊累計與取得容易，可以進行各式各樣量化的分析統計。急驚風在一旁撿現成的舊聞，總結現在評量標準除了（1）發表幾篇論文，（2）論文發表在甚麼期刊（主要以衝擊係數 Impact Factor 為指標，就是期刊論文的平均被引用次數），與（3）被引用次數外（包含與不包含自我引用的論文數都可統計出來），還有（4）一種稱為 h 指標（h index）的評量。它是由一位姓 Hirsch 的科學家在2005年提出的方法，很容易理解，即如果 h 指標為8，就是論文有八篇被引用的次數超過八次。急驚風向來是自己懶散的一直悶著頭作，不知情勢遽變，一朝抬起頭，突然發現，據實評量起來，哎呀，原來不但不是甚麼先驅者（即使只考慮小小領域！），作老半天，只是多了一些沒甚麼同行要引用的論文，非同行的就更不用說了！急驚風當然對自己的表現大為失望，這些評量結果還真是赤裸裸又殘酷又誠實的數字啊！
說急驚風很好奇，到底那些作大業的人物表現如何呢？原來，這些當選某某「士」的人物，評量數據也大有差異：h 指標有12的（總引用數二百多），有16的（總引用數一千左右），也有30的（總引用數三千多）[2]；據說，h 指標線性增加的難度其實是呈指數性的（exponential）！多查幾位，就知道，性別在這裡是保證書：如果是女性，評量數據就一定不可能差！急驚風奇想，也許該向社會學者討教一些研究方法，來進行這方面的研究，說不定可以有重要突破，給它發現個「急驚風定理」流傳教科書；急驚風可真是痴人夢想老來轉行！
急驚風查資料查上癮，乾脆繼續多作些「研究」，奇異的發現包含：（一）一位2000年以來論文總引用數只有二的研究人員（是的，非自我引用總數只有二！），卻總是可以拿到一年超過一百萬元的研究經費。（二）一位學者2000年以來，每年都發表12篇以上論文，平均一個月至少一篇（真是讓急驚風看了為之汗顏！），論文總引用數超過八百；只可惜，三分之二以上引用數來自自我引用。
查到這裡（急驚風其實查到不少「異數」，就是 anomaly 啦，不過，「異數」太多，就不好稱呼為「異數」，所以僅列舉上面二項供參考），急驚風就想到，每年過年前（是的，今年還是在小年夜呢！），就會收到某某單位計畫審查通知函（大年初二還來提醒要上網簽收審查案！）。急驚風隨著年歲虛長（外表可是一點也不虛長！），近年收到的審查件數也較之前壯年期來得多幾件。急驚風生性駑鈍，多年作審查工作，許多評比項目仍然一頭霧水，試列舉如下，同時加上一些觀察感慨：
• 總有一項「請填寫出申請人研究成果在全學門中之相對表現百分比」。問題是，全學門範圍好大，急驚風連自己領域的同行都認識不完（清），如何作這項估算。在很久以前，急驚風這項就留著空白；但有一年開始，好像這項不填一數據，審查案就送不出去。急驚風也嘗試填問號，就是「?」，來含蓄表示審查人急驚風真的不知如何填這數據，但軟體更聰明，會反應這空格只可以填數據，不讓急驚風繼續往下作業。只是，急驚風個性羞赧，從沒詢問過同行他們是怎麼估算這一數據的。
• 雖然上項審查問題有參考值（參考標準：傑出（前5%）；優（5%-15%）；佳（15%-30%）；良（30%-40%）；可（40%-50%）；普通（50%-70%）；差（70%以下）），但之前的「學門次領域同行中」研究成果表現評量用的是（極佳；佳；普通；差）四個等級，這前後兩種分級怎麼銜接？這四級是（5%；20%；60%；70%）嗎？急驚風每年在填表時總是好奇，這些數據填了回去，接手的下一站知道急驚風的分級方式嗎？或者，其實到下一階段，這些都不在考量項目？但如果這樣，為何要審查人填這些數據？同樣的，「研究計畫審查意見」也是被要求分這四級填寫，急驚風一樣「目沙沙」。當然，並非數量化就可解決問題，不過，一件研究計畫是需要「佳」以上才被列入支助考慮，還是「普通」就可以呢？就如同新任教師很需要教課的指導方針（guidelines），急驚風深覺自己評審了如此多年的計畫申請案，如果要嚴謹的做這件事的話，仍然需要學習評審的「指導方針」。
• 急驚風當然了解這每年牽動如此大量研究者的申請審查程序不可能貿然做大變動，需循序漸進；的確，實際情況也是年年有在做改進。只是，其速度實在遠比不上研究人員數目與國內研究生態變化的速度。
• 審查案總是送給所謂的同行專家審理。急驚風注意到，有些領域，同行情誼深厚，互相支援，這就會產生如前述急驚風查資料發現的異象（一）。
• 急驚風收到一些計畫書，審查起來著實痛苦。如果真要打比方，就像大家都在用高倍顯微鏡作研究了，這計畫還是堅持要用十倍的放大鏡來作。不過也真是發表不少論文，應該是同行仍有一定百分比。但是急驚風實在無法理解，為甚麼不去學使用高倍顯微鏡來作研究，其拿的經費，足足可購入多台高階高倍顯微鏡了，我們為甚麼要一直持續栽培只會使用十倍的放大鏡來作研究的研究生與博士後？這裡，急驚風一定被批評，你在用高倍顯微鏡，不代表所有研究都需要用高倍顯微鏡來作啊，這可是可以稱為「領域歧視」的喔！說的也是，急驚風也常可以感受到，某些領域研究者自認他們的領域才是前端研究，或真正的科學研究；討論到這裡，急驚風還真是辭窮了呢。但是，老用十倍的放大鏡來作研究，結論的確常常有「搔不到癢處」的感覺。從這個例子，也可以顯現研究成果量化評量的迷思與盲點：所有領域一樣重要，要比就拿成果評量數據來看吧。
打字到此，雖然歸納整理重點才剛開始，但急驚風驚覺，與其花時間在這裡闡述疑惑，還不如用在思考退休前自己賸下極其有限的時間裡，到底該努力在甚麼研究課題，才不會花一堆納稅人的錢，繼續寫一些沒人看的論文（可是，說不定一、二十年後會開始有人看？急驚風說笑了；雖然這種奇蹟不是完全沒有！）。更重要的是不要「順道」栽培出一些沒有原動力學習新知、新技術、心態上是老學究的「研究新進」！
[1]「內向者求生術」瑪蒂蘭妮著，楊秀君譯，漫遊者文化事業出版（2010年五月）
[2]這裡採用不包含自我引用的總引用數，也不包含研究人員回國工作前的發表論文。
