笨人 20170405

我以前在国内大学教书时，出试题考学生都是先出几道名词解释，再根据学科内容重点，出十来道计算题和问答题，把试题从易到难排列一下，一份试卷就整出来了。直到进入一家美国考试公司混饭吃，才知道考试是一门学科，出试题和组合试卷有诸多讲究。

除了大学和研究生入学考试外，在美国几乎各个行业都有资格考试。除了学历，获得资格证书同样很重要。有了资格证书，工作好找，工资也高些，职务升迁快。像医生这样的职业，就是有医学博士学位，没有考得医生执业资格证书，也不能开业。通过资格考试成了多数专业人士必须跨越的门槛。本人自己在美读书时经过各类入学和课程考试，以及博士资格考试和答辩，也参加并通过了两次专业证书考试，加上出题考过数万人次，所以觉得可以在这里根据记忆胡诌几句。离开考试行业已久，记忆错误的地方，请行家指正。

和中国不同，美国政府不管考试，实施考试的都是私立公司。设计和执行考试在美国不但成为一门学科，还成为一个独特的产业。有声誉的考试公司生意兴隆，利润非常可观。各种新的考试公司不断涌现，争夺考试行业大饼，竞争激烈。

美国专业资格考试公司赚的大钱其实不是每门200美元左右的考试费，而是考过后每年要交的会员费，和继续业务学习的培训费。不交会员费或不修满每年三个学分的业务提高再教育，考试公司可以吊销证书，并从网上雇主查询数据库将证书获得者除名。除非退休或改行，没人敢这样做。因为有些证书并不容易考得，需要大量复习。有些考生甚至考了20多次才通过。

笨人从前在那家面向全球的考试公司工作时，负责试题统计分析、筛选、试卷组建。对从出题、选题、组成试卷、实施考试、评分到证书发放整个流程，有着相当程度的了解。现在简单介绍一下出题、选题和组题。

一个考试公司能否生存和盈利，取决因素是信誉。而信誉是由试题决定的。试题质量好，就能考出考生的真正水平，就会得到业内专家和雇人单位认可，自然不愁没人来交钱参加考试。相反，如果用人单位发现持有某公司专业证书的员工的工作能力很差，不能胜任，消息传出去，那家考试公司倒闭就指日可待了。

显然，试题质量攸关考试公司生死存亡。试题实际上也是考试公司最重要的财产。笨人所在公司的每道试题，其成本价是200美元左右。

决定试题质量有两个最重要的统计参数。一是可靠性。这是指同一道题，测量两个水平相同的人，结果是接近的。比如一万考生在几年考试里做了这道题，通过考试的大多做对，不通过的大多做错了，那么这道题就有很好的可靠性。

光有可靠性还不行。像一把秤每次称同一块铁饼都是50斤，重复性很好很可靠，但那块铁实际上只有45斤，那把秤每次都多显示了5斤。所以好试题的第二个参数就是效度，指的是测量准确度，也就是测出想测之物的指标吻合度。影响效度的因素包括试题难度，太难的题所有人都做错，分辨度为零；太容易的题大家都做对，分辨度也是零。第二个因素是跑题。第三个影响因素是试题用语不明晰、有歧义、正确选项不唯一。现在的标准化考试多是选择题，除了一个正确选项，其它三个必须有接近的干扰度，否则试题效度也大打折扣。

考试公司征集试题时，在寒暑假、春假邀请专业行家、大学教授、资深的实际工作人员，到旅游胜地的五星级酒店，好菜好酒招待，全家旅费报销。让出题人员吃饱喝足玩够之后，按考试章节把他们分成若干出题组，每个考试内容至少出20多个不同考题。出题会议一般分两节，先修改或投票淘汰用过但可靠性、效度不符合规定的试题。比如某道题三个干扰项中有一个很少有考生选过，这个干扰度低的就必须改写。修改完考题后接着就是添加新题，决定退休一部分用过多次的老题。出题和修改题目非常费时费力，经常看到出题者之间争论不休，脸红耳赤。一个出题组有时候一天弄不出几道题。所以出题费高昂，是考试公司最大的成本支出。

有了好的和足够多的试题后，就可以组建四到八份平行试卷，以保证补考的不会碰到考过的试卷。组建平行试卷时要保证每一份都有接近的效度、难度系数和可靠性。考试时，计算机随机分配平行试卷给考生。平行试卷设计的原则是，一个考生能考过A试卷，就能考过B、C、D、E、F等试卷，而且总分应该非常接近。

组建试卷时，每份试卷都会随机塞入20%左右的新试题。这些新题不参加评分，也不告知考生。测试新题的目的是获得这些新题的可靠性、效度和难度参数。不合规定指标的，下次会议根据测试参数加以修改。那些测试合格的新题，则放进题库作为备用题。

所有考题和试卷都要经过大量的测试、统计分析、修改提高、使用的反复循环，直到退休。美式考试所以靠谱，就是因为考题都通过大量统计分析，和不断改善提高之故。