ABSTRACT

Simulated data, validity reports and a firefighter predictive validation study are used to examine validity bias created by three common selection problems-range restriction, applicant and incumbent attrition, and nonlinearity created by compression of high selection test scores. Top 20% selection samples drawn from an applicant pool with known validity coefficients demonstrate that the sample validity123456 estimates of the three predictors are differentially biased in both magnitude and direction, depending on the selection strategy used. Concurrent validity designs generally favor novel predictors. Corrections for direct range restriction across situations were mostly ineffectual. With proper scaling, corrections for indirect range restriction are accurate, but cross-variable biasing effects can occur when score distributions of the individual predictors differ. Many of the biases found in the simulation results are demonstrated in a firefighter predictive validation study where variations of Pearson-Thorndike range corrected validities and a full information maximum likelihood (FIML), approaches are all compared as validity assessments. With normalized predictors, both Pearson and FIML methods show that a test of general mental ability and physically demanding job tasks predicted firefighter performance throughout the 30-year study, with no evidence of interactions or a leveling of performance at high test scores.

摘要

模拟数据、有效性报告和消防员预测验证研究用于检查由三个常见选择问题产生的有效性偏差 - 范围限制、申请人和在职人员流失以及由高选择测试分数压缩产生的非线性。从具有已知有效性系数的申请人池中抽取的前 20% 选择样本表明，三个预测变量的样本有效性 123456 估计在大小和方向上存在差异，这取决于所使用的选择策略。并发有效性设计通常有利于新的预测因素。对跨情况的直接范围限制的修正大多是无效的。通过适当的缩放，间接范围限制的校正是准确的，但是当各个预测变量的分数分布不同时，可能会出现交叉变量偏差效应。模拟结果中发现的许多偏差在消防员预测验证研究中得到证明，其中 Pearson-Thorndike 范围的变化校正有效性和全信息最大似然 (FIML)，方法都被比较作为有效性评估。使用标准化预测变量，Pearson 和 FIML 方法都表明，在整个 30 年的研究中，对一般心理能力和体力要求高的工作任务的测试预测了消防员的表现，没有证据表明相互作用或在高测试分数时表现水平。模拟结果中发现的许多偏差在消防员预测验证研究中得到证明，其中 Pearson-Thorndike 范围的变化校正有效性和全信息最大似然 (FIML)，方法都被比较作为有效性评估。使用标准化预测变量，Pearson 和 FIML 方法都表明，在整个 30 年的研究中，对一般心理能力和体力要求高的工作任务的测试预测了消防员的表现，没有证据表明相互作用或在高测试分数时表现水平。模拟结果中发现的许多偏差在消防员预测验证研究中得到证明，其中 Pearson-Thorndike 范围的变化校正有效性和全信息最大似然 (FIML)，方法都被比较作为有效性评估。使用标准化预测变量，Pearson 和 FIML 方法都表明，在整个 30 年的研究中，对一般心理能力和体力要求高的工作任务的测试预测了消防员的表现，没有证据表明相互作用或在高测试分数时表现水平。