We present a rule-based approach to automatic factual question generation implemented in the Adaptive Courseware and Natural Language Tutor, a natural language-based intelligent tutoring system. Since machine-generated questions are intended for adaptive teaching, learning and assessment, their accuracy is of the utmost importance. However, the generation of high-quality questions is still challenging. The proposed approach relies on pre-processing techniques and syntactic and semantic feature extraction to transform declarative sentences and their segments into questions. The quality of questions, generated from domain specific texts, was evaluated by using mixed evaluation strategies: (1) human evaluation, (2) qualitative error analysis, (3) automatic evaluation, (4) human and automatic evaluation of machine-generated questions from paraphrases compared to a set of human-authored questions, (5) preliminary comparison to other approaches. The human evaluation involved two teachers of English as a foreign language who set up evaluation criteria (grammaticality, semantic accuracy, and answerability) and a group of 30 English language graduates. Student-generated questions were validated and used as reference questions for automatic evaluation based on similarity metrics (BLEU-4, METEOR, CHRF, NIST and ROUGE-L). Human and automatic evaluation results were satisfactory but improved significantly with the paraphrasing strategy. The preliminary comparison to other approaches showed that the proposed rule-based approach performed equally well despite its limitations.

我们提出了一种基于规则的自动事实问题生成方法，在自适应课件和自然语言导师（一种基于自然语言的智能辅导系统）中实现。由于机器生成的问题旨在用于适应性教学、学习和评估，因此其准确性至关重要。然而，高质量问题的生成仍然具有挑战性。所提出的方法依赖于预处理技术以及句法和语义特征提取，将陈述句及其片段转换为问题。使用混合评估策略评估从特定领域文本生成的问题的质量：（1）人工评估，（2）定性误差分析，（3）自动评估，(4) 与一组人类编写的问题相比，对机器生成的释义问题进行人工和自动评估，(5) 与其他方法的初步比较。人工评估涉及两名外语英语教师和 30 名英语毕业生，他们制定了评估标准（语法、语义准确性和可回答性）。学生生成的问题经过验证，并用作基于相似性指标（BLEU-4、METEOR、CHRF、NIST 和 ROUGE-L）自动评估的参考问题。人工和自动评估结果令人满意，但通过释义策略显着改善。与其他方法的初步比较表明，所提出的基于规则的方法尽管有其局限性，但表现同样出色。(5)与其他方法的初步比较。人工评估涉及两名外语英语教师和 30 名英语毕业生，他们制定了评估标准（语法、语义准确性和可回答性）。学生生成的问题经过验证，并用作基于相似性指标（BLEU-4、METEOR、CHRF、NIST 和 ROUGE-L）自动评估的参考问题。人工和自动评估结果令人满意，但通过释义策略显着改善。与其他方法的初步比较表明，所提出的基于规则的方法尽管有其局限性，但表现同样出色。(5)与其他方法的初步比较。人工评估涉及两名外语英语教师和 30 名英语毕业生，他们制定了评估标准（语法、语义准确性和可回答性）。学生生成的问题经过验证，并用作基于相似性指标（BLEU-4、METEOR、CHRF、NIST 和 ROUGE-L）自动评估的参考问题。人工和自动评估结果令人满意，但通过释义策略显着改善。与其他方法的初步比较表明，所提出的基于规则的方法尽管有其局限性，但表现同样出色。语义准确性和可回答性）和一组 30 名英语毕业生。学生生成的问题经过验证，并用作基于相似性指标（BLEU-4、METEOR、CHRF、NIST 和 ROUGE-L）自动评估的参考问题。人工和自动评估结果令人满意，但通过释义策略显着改善。与其他方法的初步比较表明，所提出的基于规则的方法尽管有其局限性，但表现同样出色。语义准确性和可回答性）和一组 30 名英语毕业生。学生生成的问题经过验证，并用作基于相似性指标（BLEU-4、METEOR、CHRF、NIST 和 ROUGE-L）自动评估的参考问题。人工和自动评估结果令人满意，但通过释义策略显着改善。与其他方法的初步比较表明，所提出的基于规则的方法尽管有其局限性，但表现同样出色。人工和自动评估结果令人满意，但通过释义策略显着改善。与其他方法的初步比较表明，所提出的基于规则的方法尽管有其局限性，但表现同样出色。人工和自动评估结果令人满意，但通过释义策略显着改善。与其他方法的初步比较表明，所提出的基于规则的方法尽管有其局限性，但表现同样出色。