PURPOSE The percent Angoff (PA) method has been recommended as a reliable method to set the cutoff score instead of a fixed cut point of 60% in the Korean Medical Licensing Examination (KMLE). The yes/no Angoff (YNA) method, which is easy for panelists to judge, can be considered as an alternative because the KMLE has many items to evaluate. This study aimed to compare the cutoff score and the reliability depending on whether the PA or the YNA standard-setting method was used in the KMLE. METHODS The materials were the open-access PA data of the KMLE. The PA data were converted to YNA data in 5 categories, in which the probabilities for a “yes” decision by panelists were 50%, 60%, 70%, 80%, and 90%. SPSS for descriptive analysis and G-string for generalizability theory were used to present the results. RESULTS The PA method and the YNA method counting 60% as “yes,” estimated similar cutoff scores. Those cutoff scores were deemed acceptable based on the results of the Hofstee method. The highest reliability coefficients estimated by the generalizability test were from the PA method and the YNA method, with probabilities of 70%, 80%, 60%, and 50% for deciding “yes,” in descending order. The panelist’s specialty was the main cause of the error variance. The error size was similar regardless of the standard-setting method. CONCLUSION The above results showed that the PA method was more reliable than the YNA method in estimating the cutoff score of the KMLE. However, the YNA method with a 60% probability for deciding “yes” also can be used as a substitute for the PA method in estimating the cutoff score of the KMLE.

中文翻译：

---

使用是/否 Angoff 方法代替百分比 Angoff 方法来估计韩国医师执照考试的截止分数的可能性：模拟研究

目的 Angoff 百分比 (PA) 方法已被推荐为一种可靠的方法来设置截止分数，而不是韩国医学执照考试 (KMLE) 中 60% 的固定截止点。yes/no Angoff (YNA) 方法易于小组成员判断，可以考虑作为替代方法，因为 KMLE 有很多项目需要评估。本研究旨在根据 KMLE 中使用的是 PA 还是 YNA 标准制定方法来比较截止分数和可靠性。方法 材料是 KMLE 的开放访问 PA 数据。PA 数据被转换为 5 类 YNA 数据，其中小组成员做出“是”决定的概率分别为 50%、60%、70%、80% 和 90%。使用用于描述性分析的 SPSS 和用于概括性理论的 G-string 来呈现结果。结果 PA 方法和 YNA 方法将 60% 视为“是”，估计了相似的截止分数。根据 Hofstee 方法的结果，这些截止分数被认为是可以接受的。普遍性检验估计的最高可靠性系数来自 PA 方法和 YNA 方法，决定“是”的概率按降序排列为 70%、80%、60% 和 50%。小组成员的专业是误差差异的主要原因。无论标准制定方法如何，错误大小都相似。结论 上述结果表明，在估计 KMLE 的截止分数方面，PA 方法比 YNA 方法更可靠。然而，具有 60% 概率决定“是”的 YNA 方法也可以用作 PA 方法的替代方法来估计 KMLE 的截止分数。”估计了类似的截止分数。根据 Hofstee 方法的结果，这些截止分数被认为是可以接受的。普遍性检验估计的最高可靠性系数来自 PA 方法和 YNA 方法，决定“是”的概率按降序排列为 70%、80%、60% 和 50%。小组成员的专业是误差差异的主要原因。无论标准制定方法如何，错误大小都相似。结论 上述结果表明，在估计 KMLE 的截止分数方面，PA 方法比 YNA 方法更可靠。然而，具有 60% 概率决定“是”的 YNA 方法也可以用作 PA 方法的替代方法来估计 KMLE 的截止分数。”估计了类似的截止分数。根据 Hofstee 方法的结果，这些截止分数被认为是可以接受的。普遍性检验估计的最高可靠性系数来自 PA 方法和 YNA 方法，决定“是”的概率按降序排列为 70%、80%、60% 和 50%。小组成员的专业是误差差异的主要原因。无论标准制定方法如何，错误大小都相似。结论 上述结果表明，在估计 KMLE 的截止分数方面，PA 方法比 YNA 方法更可靠。然而，具有 60% 概率决定“是”的 YNA 方法也可以用作 PA 方法的替代方法来估计 KMLE 的截止分数。根据 Hofstee 方法的结果，这些截止分数被认为是可以接受的。普遍性检验估计的最高可靠性系数来自 PA 方法和 YNA 方法，决定“是”的概率按降序排列为 70%、80%、60% 和 50%。小组成员的专业是误差差异的主要原因。无论标准制定方法如何，错误大小都相似。结论 上述结果表明，在估计 KMLE 的截止分数方面，PA 方法比 YNA 方法更可靠。然而，具有 60% 概率决定“是”的 YNA 方法也可以用作 PA 方法的替代方法来估计 KMLE 的截止分数。根据 Hofstee 方法的结果，这些截止分数被认为是可以接受的。普遍性检验估计的最高可靠性系数来自 PA 方法和 YNA 方法，决定“是”的概率按降序排列为 70%、80%、60% 和 50%。小组成员的专业是误差差异的主要原因。无论标准制定方法如何，错误大小都相似。结论 上述结果表明，在估计 KMLE 的截止分数方面，PA 方法比 YNA 方法更可靠。然而，具有 60% 概率决定“是”的 YNA 方法也可以用作 PA 方法的替代方法来估计 KMLE 的截止分数。决定“是”的概率为 70%、80%、60% 和 50%，按降序排列。小组成员的专业是误差差异的主要原因。无论标准制定方法如何，错误大小都相似。结论 上述结果表明，在估计 KMLE 的截止分数方面，PA 方法比 YNA 方法更可靠。然而，具有 60% 概率决定“是”的 YNA 方法也可以用作 PA 方法的替代方法来估计 KMLE 的截止分数。决定“是”的概率为 70%、80%、60% 和 50%，按降序排列。小组成员的专业是误差差异的主要原因。无论标准制定方法如何，错误大小都相似。结论 上述结果表明，在估计 KMLE 的截止分数方面，PA 方法比 YNA 方法更可靠。然而，具有 60% 概率决定“是”的 YNA 方法也可以用作 PA 方法的替代方法来估计 KMLE 的截止分数。结论 上述结果表明，在估计 KMLE 的截止分数方面，PA 方法比 YNA 方法更可靠。然而，具有 60% 概率决定“是”的 YNA 方法也可以用作 PA 方法的替代方法来估计 KMLE 的截止分数。结论 上述结果表明，在估计 KMLE 的截止分数方面，PA 方法比 YNA 方法更可靠。然而，具有 60% 概率决定“是”的 YNA 方法也可以用作 PA 方法的替代方法来估计 KMLE 的截止分数。