设万维读者为首页 广告服务 技术服务 联系我们 关于万维
简体 繁体 手机版
分类广告
版主:诤友
万维读者网 > 教育学术 > 帖子
Benren2:美国资格考试题是咋整出来的?
送交者: Benren2 2017年04月05日18:35:22 于 [教育学术] 发送悄悄话

笨人 20170405

我以前在国内大学教书时,出试题考学生都是先出几道名词解释,再根据学科内容重点,出十来道计算题和问答题,把试题从易到难排列一下,一份试卷就整出来了。直到进入一家美国考试公司混饭吃,才知道考试是一门学科,出试题和组合试卷有诸多讲究。

除了大学和研究生入学考试外,在美国几乎各个行业都有资格考试。除了学历,获得资格证书同样很重要。有了资格证书,工作好找,工资也高些,职务升迁快。像医生这样的职业,就是有医学博士学位,没有考得医生执业资格证书,也不能开业。通过资格考试成了多数专业人士必须跨越的门槛。本人自己在美读书时经过各类入学和课程考试,以及博士资格考试和答辩,也参加并通过了两次专业证书考试,加上出题考过数万人次,所以觉得可以在这里根据记忆胡诌几句。离开考试行业已久,记忆错误的地方,请行家指正。


和中国不同,美国政府不管考试,实施考试的都是私立公司。设计和执行考试在美国不但成为一门学科,还成为一个独特的产业。有声誉的考试公司生意兴隆,利润非常可观。各种新的考试公司不断涌现,争夺考试行业大饼,竞争激烈。

美国专业资格考试公司赚的大钱其实不是每门200美元左右的考试费,而是考过后每年要交的会员费,和继续业务学习的培训费。不交会员费或不修满每年三个学分的业务提高再教育,考试公司可以吊销证书,并从网上雇主查询数据库将证书获得者除名。除非退休或改行,没人敢这样做。因为有些证书并不容易考得,需要大量复习。有些考生甚至考了20多次才通过。

笨人从前在那家面向全球的考试公司工作时,负责试题统计分析、筛选、试卷组建。对从出题、选题、组成试卷、实施考试、评分到证书发放整个流程,有着相当程度的了解。现在简单介绍一下出题、选题和组题。

一个考试公司能否生存和盈利,取决因素是信誉。而信誉是由试题决定的。试题质量好,就能考出考生的真正水平,就会得到业内专家和雇人单位认可,自然不愁没人来交钱参加考试。相反,如果用人单位发现持有某公司专业证书的员工的工作能力很差,不能胜任,消息传出去,那家考试公司倒闭就指日可待了。

显然,试题质量攸关考试公司生死存亡。试题实际上也是考试公司最重要的财产。笨人所在公司的每道试题,其成本价是200美元左右。

决定试题质量有两个最重要的统计参数。一是可靠性。这是指同一道题,测量两个水平相同的人,结果是接近的。比如一万考生在几年考试里做了这道题,通过考试的大多做对,不通过的大多做错了,那么这道题就有很好的可靠性。

光有可靠性还不行。像一把秤每次称同一块铁饼都是50斤,重复性很好很可靠,但那块铁实际上只有45斤,那把秤每次都多显示了5斤。所以好试题的第二个参数就是效度,指的是测量准确度,也就是测出想测之物的指标吻合度。影响效度的因素包括试题难度,太难的题所有人都做错,分辨度为零;太容易的题大家都做对,分辨度也是零。第二个因素是跑题。第三个影响因素是试题用语不明晰、有歧义、正确选项不唯一。现在的标准化考试多是选择题,除了一个正确选项,其它三个必须有接近的干扰度,否则试题效度也大打折扣。

考试公司征集试题时,在寒暑假、春假邀请专业行家、大学教授、资深的实际工作人员,到旅游胜地的五星级酒店,好菜好酒招待,全家旅费报销。让出题人员吃饱喝足玩够之后,按考试章节把他们分成若干出题组,每个考试内容至少出20多个不同考题。出题会议一般分两节,先修改或投票淘汰用过但可靠性、效度不符合规定的试题。比如某道题三个干扰项中有一个很少有考生选过,这个干扰度低的就必须改写。修改完考题后接着就是添加新题,决定退休一部分用过多次的老题。出题和修改题目非常费时费力,经常看到出题者之间争论不休,脸红耳赤。一个出题组有时候一天弄不出几道题。所以出题费高昂,是考试公司最大的成本支出。

有了好的和足够多的试题后,就可以组建四到八份平行试卷,以保证补考的不会碰到考过的试卷。组建平行试卷时要保证每一份都有接近的效度、难度系数和可靠性。考试时,计算机随机分配平行试卷给考生。平行试卷设计的原则是,一个考生能考过A试卷,就能考过B、C、D、E、F等试卷,而且总分应该非常接近。

组建试卷时,每份试卷都会随机塞入20%左右的新试题。这些新题不参加评分,也不告知考生。测试新题的目的是获得这些新题的可靠性、效度和难度参数。不合规定指标的,下次会议根据测试参数加以修改。那些测试合格的新题,则放进题库作为备用题。

所有考题和试卷都要经过大量的测试、统计分析、修改提高、使用的反复循环,直到退休。美式考试所以靠谱,就是因为考题都通过大量统计分析,和不断改善提高之故。 

0%(0)
0%(0)
标 题 (必选项):
内 容 (选填项):
实用资讯
发龙药业大回馈!美国专利骨胶原、活心素、灯盏素、排毒养颜宝购买两疗程免费邮寄中国
天天养生,保健礼品,物超所值,疯狂现金折扣,直销美加,港台,大陆,东南亚
最劲爆,最给力美国专利产品<骨精华>消除关节痛、骨质疏松<心血通>预防心肌梗塞
免开通费,30天免费试用中文电视万花筒, 无捆绑服务,月费5.99
西洋参、羊胎盘、鱼油卵磷脂200多种送礼自用健康佳品,全部特价!由此进入
留美学生医疗保险$39/月,短期访美旅游保险,不需体检无年龄限制
一周点击热帖 更多>>
一周回复热帖
历史上的今天:回复热帖
2016: 为什么“无”不能形容绝对?
2016: 感性-理性-悟性:谁离认识真理更近些?
2015: 几年没来了,紫鸟学会狄拉克方程没?
2015: 现代非自然哲学入门
2014: 事实与原则(12) - 空间的客观性(B)
2014: 评诗论词:三言两语说平仄
2013: 中医治疗瘟疫的原理
2013: 也谈民主、法治、独裁 (一)
2012: 中科院金属所一男性研究生4月5日晨坠楼