PURPOSE This study investigated whether the reliability was acceptable when the number of cases in the objective structured clinical examination (OSCE) decreased from 12 to 8 using generalizability theory (GT). METHODS This psychometric study analyzed the OSCE data of 439 fourth-year medical students conducted in the Busan and Gyeongnam areas of South Korea from July 12 to 15, 2021. The generalizability study (G-study) considered 3 facets—students (p), cases (c), and items (i)—and designed the analysis as p×(i:c) due to items being nested in a case. The acceptable generalizability (G) coefficient was set to 0.70. The G-study and decision study (D-study) were performed using G String IV ver. 6.3.8 (Papawork, Hamilton, ON, Canada). RESULTS All G coefficients except for July 14 (0.69) were above 0.70. The major sources of variance components (VCs) were items nested in cases (i:c), from 51.34% to 57.70%, and residual error (pi:c), from 39.55% to 43.26%. The proportion of VCs in cases was negligible, ranging from 0% to 2.03%. CONCLUSION The case numbers decreased in the 2021 Busan and Gyeongnam OSCE. However, the reliability was acceptable. In the D-study, reliability was maintained at 0.70 or higher if there were more than 21 items/case in 8 cases and more than 18 items/case in 9 cases. However, according to the G-study, increasing the number of items nested in cases rather than the number of cases could further improve reliability. The consortium needs to maintain a case bank with various items to implement a reliable blueprinting combination for the OSCE.

中文翻译：

---

使用概括性理论对韩国医学生进行的 8 例客观结构化临床考试的可接受性：一项可靠性研究

目的 本研究使用概括性理论 (GT) 调查当客观结构化临床检查 (OSCE) 中的病例数从 12 减少到 8 时可靠性是否可以接受。方案例 (c) 和项目 (i) - 由于项目嵌套在案例中，因此将分析设计为 p×(i:c)。可接受的普遍性 (G) 系数设置为 0.70。G-study 和决策研究（D-study）是使用 G String IV ver. 进行的。6.3.8（Papawork，加拿大安大略省汉密尔顿）。结果 除 7 月 14 日 (0.69) 外，所有 G 系数均高于 0.70。方差分量 (VC) 的主要来源是嵌套在案例 (i:c) 中的项目，从 51.34% 到 57.70%，以及残差 (pi:c)，从 39.55% 到 43.26%。VC 在案件中所占的比例可以忽略不计，从 0% 到 2.03% 不等。结论 2021 年釜山和庆南 OSCE 的案件数量有所减少。但是，可靠性是可以接受的。在 D 研究中，如果超过 21 个项目/案例的 8 个案例和超过 18 个项目/案例的 9 个案例的可靠性保持在 0.70 或更高。然而，根据 G 研究，增加案例中嵌套的项目数量而不是案例数量可以进一步提高可靠性。该联盟需要维护一个包含各种项目的案例库，以便为 OSCE 实施可靠的蓝图组合。从 39.55% 到 43.26%。VC 在案件中所占的比例可以忽略不计，从 0% 到 2.03% 不等。结论 2021 年釜山和庆南 OSCE 的案件数量有所减少。但是，可靠性是可以接受的。在 D 研究中，如果 8 个案例超过 21 个项目/案例，9 个案例超过 18 个项目/案例，则可靠性保持在 0.70 或更高。然而，根据 G 研究，增加案例中嵌套的项目数量而不是案例数量可以进一步提高可靠性。该联盟需要维护一个包含各种项目的案例库，以便为 OSCE 实施可靠的蓝图组合。从 39.55% 到 43.26%。VC 在案件中所占的比例可以忽略不计，从 0% 到 2.03% 不等。结论 2021 年釜山和庆南 OSCE 的案件数量有所减少。但是，可靠性是可以接受的。在 D 研究中，如果超过 21 个项目/案例的 8 个案例和超过 18 个项目/案例的 9 个案例的可靠性保持在 0.70 或更高。然而，根据 G 研究，增加案例中嵌套的项目数量而不是案例数量可以进一步提高可靠性。该联盟需要维护一个包含各种项目的案例库，以便为 OSCE 实施可靠的蓝图组合。在 D 研究中，如果 8 个案例超过 21 个项目/案例，9 个案例超过 18 个项目/案例，则可靠性保持在 0.70 或更高。然而，根据 G 研究，增加案例中嵌套的项目数量而不是案例数量可以进一步提高可靠性。该联盟需要维护一个包含各种项目的案例库，以便为 OSCE 实施可靠的蓝图组合。在 D 研究中，如果超过 21 个项目/案例的 8 个案例和超过 18 个项目/案例的 9 个案例的可靠性保持在 0.70 或更高。然而，根据 G 研究，增加案例中嵌套的项目数量而不是案例数量可以进一步提高可靠性。该联盟需要维护一个包含各种项目的案例库，以便为 OSCE 实施可靠的蓝图组合。