笨人 20170405

我以前在國內大學教書時，出試題考學生都是先出幾道名詞解釋，再根據學科內容重點，出十來道計算題和問答題，把試題從易到難排列一下，一份試卷就整出來了。直到進入一家美國考試公司混飯吃，才知道考試是一門學科，出試題和組合試卷有諸多講究。

除了大學和研究生入學考試外，在美國幾乎各個行業都有資格考試。除了學歷，獲得資格證書同樣很重要。有了資格證書，工作好找，工資也高些，職務升遷快。像醫生這樣的職業，就是有醫學博士學位，沒有考得醫生執業資格證書，也不能開業。通過資格考試成了多數專業人士必須跨越的門檻。本人自己在美讀書時經過各類入學和課程考試，以及博士資格考試和答辯，也參加並通過了兩次專業證書考試，加上出題考過數萬人次，所以覺得可以在這裡根據記憶胡謅幾句。離開考試行業已久，記憶錯誤的地方，請行家指正。

和中國不同，美國政府不管考試，實施考試的都是私立公司。設計和執行考試在美國不但成為一門學科，還成為一個獨特的產業。有聲譽的考試公司生意興隆，利潤非常可觀。各種新的考試公司不斷湧現，爭奪考試行業大餅，競爭激烈。

美國專業資格考試公司賺的大錢其實不是每門200美元左右的考試費，而是考過後每年要交的會員費，和繼續業務學習的培訓費。不交會員費或不修滿每年三個學分的業務提高再教育，考試公司可以吊銷證書，並從網上雇主查詢數據庫將證書獲得者除名。除非退休或改行，沒人敢這樣做。因為有些證書並不容易考得，需要大量複習。有些考生甚至考了20多次才通過。

笨人從前在那家面向全球的考試公司工作時，負責試題統計分析、篩選、試卷組建。對從出題、選題、組成試卷、實施考試、評分到證書發放整個流程，有着相當程度的了解。現在簡單介紹一下出題、選題和組題。

一個考試公司能否生存和盈利，取決因素是信譽。而信譽是由試題決定的。試題質量好，就能考出考生的真正水平，就會得到業內專家和僱人單位認可，自然不愁沒人來交錢參加考試。相反，如果用人單位發現持有某公司專業證書的員工的工作能力很差，不能勝任，消息傳出去，那家考試公司倒閉就指日可待了。

顯然，試題質量攸關考試公司生死存亡。試題實際上也是考試公司最重要的財產。笨人所在公司的每道試題，其成本價是200美元左右。

決定試題質量有兩個最重要的統計參數。一是可靠性。這是指同一道題，測量兩個水平相同的人，結果是接近的。比如一萬考生在幾年考試里做了這道題，通過考試的大多做對，不通過的大多做錯了，那麼這道題就有很好的可靠性。

光有可靠性還不行。像一把秤每次稱同一塊鐵餅都是50斤，重複性很好很可靠，但那塊鐵實際上只有45斤，那把秤每次都多顯示了5斤。所以好試題的第二個參數就是效度，指的是測量準確度，也就是測出想測之物的指標吻合度。影響效度的因素包括試題難度，太難的題所有人都做錯，分辨度為零；太容易的題大家都做對，分辨度也是零。第二個因素是跑題。第三個影響因素是試題用語不明晰、有歧義、正確選項不唯一。現在的標準化考試多是選擇題，除了一個正確選項，其它三個必須有接近的干擾度，否則試題效度也大打折扣。

考試公司徵集試題時，在寒暑假、春假邀請專業行家、大學教授、資深的實際工作人員，到旅遊勝地的五星級酒店，好菜好酒招待，全家旅費報銷。讓出題人員吃飽喝足玩夠之後，按考試章節把他們分成若干出題組，每個考試內容至少出20多個不同考題。出題會議一般分兩節，先修改或投票淘汰用過但可靠性、效度不符合規定的試題。比如某道題三個干擾項中有一個很少有考生選過，這個干擾度低的就必須改寫。修改完考題後接着就是添加新題，決定退休一部分用過多次的老題。出題和修改題目非常費時費力，經常看到出題者之間爭論不休，臉紅耳赤。一個出題組有時候一天弄不出幾道題。所以出題費高昂，是考試公司最大的成本支出。

有了好的和足夠多的試題後，就可以組建四到八份平行試卷，以保證補考的不會碰到考過的試卷。組建平行試卷時要保證每一份都有接近的效度、難度係數和可靠性。考試時，計算機隨機分配平行試卷給考生。平行試卷設計的原則是，一個考生能考過A試卷，就能考過B、C、D、E、F等試卷，而且總分應該非常接近。

組建試卷時，每份試卷都會隨機塞入20%左右的新試題。這些新題不參加評分，也不告知考生。測試新題的目的是獲得這些新題的可靠性、效度和難度參數。不合規定指標的，下次會議根據測試參數加以修改。那些測試合格的新題，則放進題庫作為備用題。

所有考題和試卷都要經過大量的測試、統計分析、修改提高、使用的反覆循環，直到退休。美式考試所以靠譜，就是因為考題都通過大量統計分析，和不斷改善提高之故。