Those who can imagine anything, can create the impossible.. Alan Turing
在測驗編製過程中,試題分析(Item Analysis)是一件相當重要的工作。試題分析可分為質的分析(Qualitative Analysis)與量的分析(Quantitative Analysis)兩部分。前者係就試題的內容和形式,從取材的適切性與編擬試題的技術方面加以評鑑;後者則基於試題經過預試(Try-out)的結果,逐一分析其難度(Item Difficulty)、鑑別度(Item Discrimination)與受試者對各項配列答案(Options)的反應情形,作為修改試題或選擇試題之依據。從心理測量的觀點言之,所有試題必須經過質和量兩方面的分析,始能顯示其特性和相對效力的高低,據以決定取捨,然後以適當的試題構成一套可靠而有效的測驗,進而發揮其測量與評量的功能。
試題的難易程度通常以全體受試者答對或通過該題的百分比表示之,其計算公式如下:
(方程式1)右式中P代表試題難度,N為全體受試者人數,R為答對該題人數。另一種試題難度的求法,係先將受試者依照測驗總分的高低次序排列,然後把得分最高與得分最低的受試者各取全體人數的百分之二十七,定為高分組和低分組,再分別求出此兩組在某一試題上通過人數的百分比,然後以兩組百分比的平均數作為該題的難度,其計算公式如下:
(方程式2)右式中P代表試題難度,PH為高分組通過該題人數百分比,PL為低分組通過該題人數百分比。以P表示試題的難度,P值愈大,難度愈低;P值愈小,難度愈高。美國教育測驗服務社(Educational Testing Service)另創一種具有等距尺度特性的難度指數,以△(Delta)表示之。它是一種以十三為平均數、四為標準差、下限為一、上限為二十五的標準分數。△值愈小,難度愈低;△值愈大,難度愈高。它不但可以表示試題難度的相對位置,而且可以指出不同難度之間的差異數值。 試題的鑑別力(Discriminating Power)之大小,與測驗的信度和效度皆有密切的關係。欲增進測驗的預測與診斷功能,必須注意試題的鑑別度分析。試題的鑑別度分析可分為內部一致性(Internal Consistency)與外在效度(External Validity)兩方面。前者即一般所謂「諧度分析」其目的在於檢查個別試題與整個測驗的作用之一致性。其分析的方法有兩種途徑:一、探求試題的作答反應與測驗總分之間的關聯性,可應用雙列相關(Biserial Correlation)或點值雙列相關(Point-biserial Correlation)的方法,求得相關係數,以表示內部一致性的高低。二、求出高分組和低分組受試者在個別試題上的通過人數百分比,再以高分組的百分比減去低分組的百分比所得的差數,作為鑑別指數(Index of Discrimination),其計算公式如下:D=PH-PL。D值愈大,表示個別試題反應與測驗總分的一致性愈高。至於試題的外在效度分析,其方法和步驟與上述諧度分析相似,所不同者祇是參照標準不同而已。通常首須決定一個外在的效標,諸如學業成績、工作表現或評定的分數,然後依據效標分數,將受試者區分為高分組和低分組,各占總人數的百分之二十七,再分別求出高分組和低分組在各個試題上通過的百分比,以前者減去後者,其差數的大小,即可顯示各個試題在預定功能上的鑑別力。 此外,根據PH和PL,可從「范氏項目分析表」(Fan’s Item Analysis Table)中查得P(通過百分比的估計值)、△(常態化等距的難度指數)、r(試題反應與效標之間的雙列相關係數),分別表示試題的難度與鑑別度。 試題的難度與鑑別度密切相關,前者是後者的必要條件,測驗所包含的試題具有適當的難度,才有發揮鑑別作用的可能性。如果試題的難度太高,竟無一人能通過之,或難度太低,全體受試者皆能通過之,則失去鑑別不同能力程度的效用。一般而言,試題的難度愈適中,其鑑別作用愈大。
發布機關:臺北市政府教育局中等教育科
檢附旨揭手冊電子檔1份,請自行下載卓參。
臺北市政府教育局中等教育科
12年國教 網址
屬於我們這一代的畢業生致詞