We have dramatically advanced our ability to create rich, complex, and effective assessments across a range of uses through technology advancement. Artificial Intelligence (AI) enabled assessments represent one such area of advancement—one that has captured our collective interest and imagination. Scientists and practitioners within the domains of organizational and workforce assessment have increasingly used AI in assessment, and its use is now becoming more common in education. While these types of solutions offer their users the promise of efficiency, effectiveness, and a “wow factor,” users need to maintain high standards for validity and fairness in high stakes settings. Due to the complexity of some AI methods and tools, this requirement for adherence to standards may challenge our traditional approaches to building validity and fairness arguments. In this edition, we review what these challenges may look like as validity arguments meet AI in educational assessment domains. We specifically explore how AI impacts Evidence-Centered Design (ECD) and development from assessment concept and coding to scoring and reporting. We also present information on ways to ensure that bias is not built into these systems. Lastly, we discuss future horizons, many that are almost here, for maximizing what AI offers while minimizing negative effects on test takers and programs.

中文翻译：

---

有效性论点在创新教育评估中遇到人工智能

通过技术进步，我们极大地提高了我们在各种用途中创建丰富、复杂和有效评估的能力。支持人工智能 (AI) 的评估代表了一个这样的进步领域——一个吸引了我们集体兴趣和想象力的领域。组织和劳动力评估领域的科学家和从业者越来越多地在评估中使用人工智能，现在它的使用在教育中变得越来越普遍。虽然这些类型的解决方案为他们的用户提供了效率、有效性和“令人惊叹的因素”的承诺，但用户需要在高风险环境中保持高标准的有效性和公平性。由于一些人工智能方法和工具的复杂性，这种对遵守标准的要求可能会挑战我们建立有效性和公平性论点的传统方法。在本期中，我们回顾了这些挑战可能会是什么样子，因为有效性论点在教育评估领域遇到了人工智能。我们特别探讨了人工智能如何影响以证据为中心的设计 (ECD) 和从评估概念和编码到评分和报告的发展。我们还提供了有关确保这些系统不内置偏见的方法的信息。最后，我们讨论了未来的前景，其中许多即将到来，以最大限度地利用人工智能提供的功能，同时最大限度地减少对考生和项目的负面影响。我们特别探讨了人工智能如何影响以证据为中心的设计 (ECD) 和从评估概念和编码到评分和报告的发展。我们还提供了有关确保这些系统不内置偏见的方法的信息。最后，我们讨论了未来的前景，其中许多即将到来，以最大限度地利用人工智能提供的功能，同时最大限度地减少对考生和项目的负面影响。我们特别探讨了人工智能如何影响以证据为中心的设计 (ECD) 和从评估概念和编码到评分和报告的发展。我们还提供了有关确保这些系统不内置偏见的方法的信息。最后，我们讨论了未来的前景，其中许多即将到来，以最大限度地利用人工智能提供的功能，同时最大限度地减少对考生和项目的负面影响。