我的這篇文章目的在于澄清一些誤導性的廣告詞,讓大家對各種各樣的大學排名
有一個本質上的認識。靈感來源於學習經濟學歷史上最具有顛覆性的理論——
Arrow’s Theorem。
首先我從收集數據開始,上次我做的“五大名校”調查已經得到了初步的結果,
非常感謝接受調查的網友所提供的寶貴意見。以下是簡要的調查結果:
1 2 3 4 5
USTC THU PKU PKU PKU
NJU PKU THU THU THU
THU FDU USTC FDU USTC
PKU USTC FDU NJU NJU
FDU NJU NJU SJTU FDU
6 7 8 9 10
PKU PKU PKU PKU THU
THU THU THU FDU PKU
RUC USTC FDU NJU NJU
CAU FDU USTC THU FDU
USTC NJU NJU USTC USTC
11 12 13 14 15
THU PKU THU NJU THU
USTC THU ZJU USTC PKU
PKU SJTU PKU PKU USTC
NJU FDU NJU FDU FDU
FDU NJU FDU THU NJU
16 17 18 19 20
USTC THU PKU THU NJU
PKU USTC FDU PKU USTC
THU PKU NJU USTC PKU
FDU FDU THU FDU FDU
NJU NJU USTC NJU THU
21 22 23 24 25
THU PKU THU THU THU
PKU THU PKU PKU PKU
FDU RUC USTC USTC FDU
NJU FDU NJU FDU SJTU
USTC USTC FDU SJTU USTC
26 27 28 29 30
PKU NJU THU USTC THU
THU THU PKU NJU PKU
FDU PUMC NJU PKU NJU
USTC TONGJI FDU THU FDU
NJU PKU SJTU FDU USTC
**
THU:Tsinghua University 清華大學
PKU:Peking University 北京大學
NJU:Nanjing University 南京大學
USTC:University of Science & Technology of China 中國科大
FDU:Fudan University 復旦大學
SJTU:Shanghai Jiaotong University 上海交大
RUC:Renmin University of China 人民大學
CAU:China Argriculture University 中國農業大學
ZJU:Zhejiang University 浙江大學
PUMC:Peking Union Medical College 協和醫科大學
TONGJI:Tongji University 同濟大學
一、如何評估這個調查結果:
首先我們想到的是給每個學校進行打分,最簡單的打分方式是:第一名5分;第
二名4分;第三名3分;第四名2分;第五名1分。如果這樣做,那麼打分結果為:
PKU 120
THU 119
USTC 66
FDU 60
NJU 60
SJTU 8
RUC 6
ZJU 4
CAU 2
TONGJI 2
PUMC 3
如果按照這個打分結果:順序是北大〉清華〉科大〉復旦=南大〉上海交大〉人
大〉浙大〉協和〉中農大=同濟。由於北大、清華、科大、復旦、南大得分遠遠超過
其他學校,下面的分析重點集中在這五所學校上。
這個結果似乎並不讓我們滿意,因為復旦和南大的先後次序沒有被區分出來,那
麼我們稍微改變一下打分規則:第一名9分;第二名7分;第三名5分;第四名3分;第
五名1分。統計結果為:
PKU 210
THU 208
USTC 107
FDU 92
NJU 94
意味着:北大〉清華〉科大〉南大〉復旦。
好了,這個結果區分開了五大名校的先後次序,且慢,如果我們重新制訂打分規則:
第一名11分;第二名9分;第三名7分;第四名5分;第五名3分,那麼:
PKU 270
THU 268
USTC 157
FDU 148
NJU 146
意味着:北大〉清華〉科大〉復旦〉南大。南大和復旦之間的次序發生了改變,
而打分原則仍然和第二次類似,為方差=2的序列。
不過南海之子是清華的支持者,當然不會坐看清華排在北大後面,現在南海之子
提出:“其實第一名和第二名沒什麼區別的,應該打相同的分數,第三名和第四名也
沒什麼區別,也應該打相同的分數”。於是打分規則變成:第一名5分;第二名5分;
第三名3分;第四名3分;第五名2分。那麼:
PKU1 33
THU 134
USTC 81
FDU 82
NJU 78
也就是說:清華〉北大〉復旦〉科大〉南大。
科大的費拉里醫生可能會抗議說,前面幾次評估都是科大〉復旦,怎麼這次變成
復旦〉科大,南海之子你太不夠意思了,幫了清華卻忘了理工科的弟兄科大,結果把
復旦給弄上去了。於是南海之子做了深刻檢討並且提出:第一名應該得到更多獎勵,
就象足球比賽裡面贏球得3分,打平得1分一樣鼓勵勝者。於是規則重新修訂為:第一
名6分;第二名4分;第三名3分;第四名2分;第五名1分。這時候:
PKU 131
THU 132
USTC 69
FDU 60
NJU 63
結果為:清華〉北大〉科大〉南大〉復旦。
上海交大的哈哈貳可能很不服氣,會抗議說,科大在合肥,四周都是野草,哪比
得上上海交大,中國著名外企從來都只從清華北大復旦交大四所學校要人。南海之子
考慮到哈哈貳昨天生氣傷了身子,為了讓他Happy一點,於是顧不上費拉里醫生,重
新把打分規則修改如下:第一名15分;第二名14分;第三名13分;第四名12分;第五
名11分。結果變成:
PKU 420
THU 419
USTC 316
FDU 340
NJU 320
北大〉清華〉復旦〉南大〉科大。
總結:到目前為止,通過修改打分規則我們已經得到幾個相互矛盾的結果:
1、清華〉北大 VS. 北大〉清華。 到底是清大還是北大?
2、南大、復旦、科大的排列次序處於混亂狀態,我們可以得到科大〉復旦、復旦〉
科大、南大〉復旦、復旦〉南大、科大〉南大、南大〉科大的相互矛盾的結果。數據
沒有變,結果發生了劇烈變化。
從這裡可以看出,即使是相同的數據,只要採取不同的處理方式,就可以得到不
同的排名,大學排名就好象揉麵團可以根據自己的需要隨心所欲。下面我們來看一下
一些容易產生誤導的說法:
1、我們的排名搜集的數據最全,所以我們的排名是最權威的。
錯誤。排名是否權威不但取決於數據,更取決於數據的處理方法。
2、我們不但考慮了理工科成果,還考慮了人文科學的成果,所以我們的綜合排名最
權威。
錯誤。綜合排名還取決於這些成果的權重,從以上我的分析可以看出,給第一名較大
的權重對清華、科大有利,給最後一名更多的分數對南大、復旦有利。
3、我們使用了很多計算公式,而不是簡單的問卷調查,所以我們的結果更加客觀,
因而也更加權威。
錯誤。選擇數據處理方式就是一個主觀的過程,得到的結果也是主觀的。剛才大家也
看到了,我是如何根據自己的需要隨意改變大學排名的順序的。當然我還算謙虛謹慎
的,不但公布數據還公布處理過程,所以不能象武書連那樣把浙大排到北大頭上去。
談到這裡,武漢大學的皇室大仙可能會憤憤不平地為“中國大學排名第一網”的
“排名學專家”武書連辯護了:單從排名的指導意義和公正性上來說,武書連的排名
就是一個“皇室大仙”。我們不妨看一下武書連自己怎麼說的:“方勇同學提出,科
學計量學上的加權方法不適於解決大學排名評價這一複雜的系統工程。我不是科學計
量學家,對此不敢妄加評判,只是覺得在科學計量學家還沒有研究出更好的方法之前
,使用加權方法或其它方法將複雜的問題簡單化不失為大學評價的有效途徑。況且在
1949年科學計量學誕生之前,加權方法早已廣島泛應用於包括教育科學在內的許多領
域”。
皇室大仙看清楚一點,武書連都承認自己不是計量經濟學專家,他憑什麼跑去搞
大學排名?連基本的數據處理常識都不懂,難怪弄出把武漢大學排入TOP10的笑話。
武書連的假設是違背常識的:他最重要的假設是預先假設人均產出相同(無論是
理工科教授還是文科教授,無論是名校學生還是爛校學生)!(見“薛天祥、侯定凱
”:如果兩類大學產出相等或相近,那麼人數越多難度係數越大,人均產出越低;同
樣,如果兩類大學人數相等或相近,產出越低,難度係數越大,其結果是要把產出低
的一類大學拉到產出高的一類大學一樣,換言之,就是預先設定各類大學的人均產出
是一樣的)。如果這樣,武書連只要統計一下各個大學的人數,然後乘以那個“相同
的人均產出”就可以了。所以武書連不要這麼謙虛地稱自己是“排名學專家”,最好
加個頭銜:“人口統計學家”。這樣的排名,小學生都會做,武書連及其支持者皇室
大仙還是不要跑到大學生面前鬧笑話了。
二、不要綜合數據了,來個簡單的一對一。
既然數據可以任意進行“綜合”,得到的結果也千奇百怪,我們就換個數據處理
方法,來個一對一比拚。以下是一對一比拚成績表(假設兩個大學同時出現在排名當
中),我們得到矩陣A:
P T U F N S R Z C TJ PU
P 0 15 7 0 5 0 0 1 0 1 1
T 15 0 5 4 7 0 0 0 0 0 0
U 18 20 0 10 7 1 2 0 1 0 0
F 28 24 14 0 11 1 1 1 0 0 0
N 21 19 14 14 0 1 0 1 0 0 0
S 5 5 1 4 2 0 0 0 0 0 0
R 2 2 0 0 0 0 0 0 0 0 0
Z 0 1 0 0 0 0 0 0 0 0 0
C 1 1 0 0 0 0 1 0 0 0 0
TJ 0 1 0 0 1 0 0 0 0 0 1
PU 0 1 0 0 1 0 0 0 0 0 0
**
T Tsinghua University
P Peking University
N Nanjing University
U University of Science & Technology of China
F Fudan University
S Shanghai Jiaotong University
R Renmin University of China
C China Argriculture University
Z Zhejiang University
PU Peking Union Medical College
TJ Tongji University
說明:假設A(i,j)=a_ij,意味着有a_ij個人認為大學i比大學j好。例如A(P,T)=15,
意味着受訪者當中有15人認為PKU(北京大學)比THU(清華大學)好。A(T,F)=23,
意味着受訪者當中有23人認為清華大學比復旦大學好。
P T U F N
P 0 15 7 0 5
T 15 0 5 4 7
U 18 20 0 10 7
F 28 24 14 0 11
N 21 19 14 14 0
初步分析,從這個矩陣看,A(P,T)=A(P,T)=15,也就是說認為北大比清華好的人
數和認為清華比北大好的人數一樣多!北大清華不分上下。A(U,F)=14>A(F,U)=10,
說明科大比復旦好;A(F,N)=14>A(N,F)=11,說明復旦比南大好;A(U,N)=14 >A(N,
U)=7,說明科大比南大好。因此正確排名應該是:
清華=北大〉科大〉復旦〉南大。這個結果夠滿意了吧?
且慢,我們再仔細分析一下:從數據當中,有7人認為科大〉北大,5人認為南大
〉北大,0人認為復旦〉北大,因此,如果使用北大作為基準,後面三名的排序應該
是科大〉南大〉復旦,而不是科大〉復旦〉南大。
可見混亂發生在南大和復旦的相對位置上,如果以科大為基準,我們得到14人認
為科大〉南大;14人認為科大〉復旦,所以南大=復旦,但是有10人認為復旦〉科大
;7人認為南大〉科大,所以應該是復旦〉南大——這樣得到相互矛盾的結果。
有意思的是,使用清華作為基準,我們將得到南大〉科大〉復旦。
好象清華=北大應該是共識了,這可未必,因為使用科大為基準,那麼清華〉北
大,使用復旦為基準,那麼北大〉清華,使用南大為基準,則北大〉清華。
在這裡,我們明顯看到了學科設置因素對排名的影響。儘管有20人認為清華〉科
大,但是只有18人認為北大〉科大。原因可能是認為對清華評價好的人同時也對科大
評價好,因為同樣是偏重理工的大學,而對北大文科評價偏低。同樣的,有28人認為
北大〉復旦,但是只有24人認為清華〉復旦。原因也可能是對北大評價好的人,對復
旦也給出較好的評價。
以上文字,我們忽略了少數派的意見,下面我們看一下支持交大的網友如何評價
5大名校的。顯然,如果以交大為基準,我們得到復旦〉南大〉科大,因此科大被“
非主流網友”所拋棄,如果這樣的網友足夠多,後三名的結果就變成復旦〉南大〉科
大。
科大的網友可能會抗議說,應該以1對1的方式決定勝負,且慢,我們前面的假設
是必須兩個學校同時在一個網友的投票當中出現,才對這兩個學校進行比較,現在復
旦大學的網友可以提出,即使不同時出現,我們也可以比較,這就是:那個被排除出
局的學校肯定比留下來的學校差。
因此支持復旦大學的同學增加了:因為有30人投票,結果14人認為科大〉復旦,
10人認為復旦〉科大,還有6張選票沒有同時投給復旦和科大。分析剩下來的6張選票
發現:4張投給了復旦而沒有投給科大;1張投給科大而沒有投給復旦;剩下一張兩個
都沒有投。所以比拚結果為科大 VS 復旦為15 VS 14,相差極小,如果復旦有能力賄
賂剩下那個兩個學校都沒有投的選票,那麼科大 VS 復旦將變成15 VS 15。從這裡我
們看到少數派的重要性,他們的意見遠遠不象我們想象的那麼微不足道!想想看布什
這個美國歷史上最大的流氓是怎麼當上總統的吧。
三、阿萊悖論
阿萊悖論是經濟學上最具有顛覆性的理論,換成大學排行的語言就是:
如果存在滿足這樣條件的排名:
1、假設所有人都認為A大學比B大學好,那麼綜合排名當中必定是A〉B。
2、所有參加評估的人員都必須嚴格區分出排名次序(即:不能說北大=清華,必須
區分出他們的次序),對他們的價值偏好沒有特別的限制(即:不能要求評估的人員
只能把北大、清華排前兩位)。
3、偏好獨立性:假設綜合評估結果是A〉B,那麼如果所有人對A、B相對位置看法不
變的情況下,修正了對C的看法,第二次綜合評估結果仍然是A〉B。(即:假設北大
、清華的各種指標在2001、2002年沒有變動,綜合評估2001年是清華>北大。如果復
旦大學在2002年進步了,排名提升,那麼2002年的排名仍然是清華>北大,不會因為
復旦大學的進步影響清華、北大的相對位置。)
4、3個以上的大學參與排名。
那麼這樣的排名,不管綜合各種指標的過程是怎樣的,它肯定是事先設計好的。
阿萊悖論告訴我們,任何所謂的“綜合”排名,要麼是不公正的,要麼是有心人
的事先設計。我們只要對原始數據進行了人為的處理和加工,就可以得到自己所希望
的“綜合排名”。所以最有價值的信息不是“綜合”排名,而是原始數據,例如重點
學科數量、各個學科權威專家對本學科的排名、論文數量排名、國家科技獎排名等等
。每一個大學都有自己的特色,這些特色就體現在一些原始的數據之上,而不是所謂
的“綜合”排名上。所以爭論排名極為無聊、沒有意義,最好的排名應該是單科排名
。使用的數據越多並不意味排名越權威,計量經濟學有一個極為重要的結論:如果沒
有理論的支持,任何計量統計都有可能是Garbage In, Garbage Out。武書連不是計
量經濟學專家,所以就沒有意識到自己的排名就是一個“Garbage In, Garbage Out
”。
四、其他引申
北大人很喜歡“民主、自由”,不過如果掌握了阿萊悖論的精神,我們是可以通
過操縱選舉程序來操縱選舉結果的。民主不但是一個口號,也是一門科學,遠遠不是
投投票這麼簡單!