Techno-mathematical Literacies (TmL), which are defined as a combination of mathematical, workplace and ICT knowledge, and communicative skills, are acknowledged as important learning goals in STEM education. Still, much remains unknown about ways to address them in teaching and to assess their development. To investigate this, we designed and implemented an innovative course in applied mathematics with a focus on Techno-mathematical Literacies for 1st-year engineering students, and we set out to measure the learning effect of the course. Because measuring TmL is an uncharted terrain, we designed tests that could serve as pre- or posttests. To prevent a test learning effect, we aimed to design two different but equally difficult tests A and B. These were assigned randomly to 68 chemistry students, as a pretest, with the other one serving as posttest after the course. A significant development in TmL was found in the B-pre group, but not in the A-pre group. Therefore, as a follow-up analysis we investigated whether the two tests were equally difficult and searched for possible explanations. We found that test B was indeed perceived as more difficult than test A, but also that students who were assigned B (pre) were previously higher achieving than A (pre), and a sound mastery level of basic skills that ground the higher-order TmL seemed necessary. Furthermore, as TmL are very heterogenous by nature, some of them are easier learned and measured than others. Based on the results, we propose ways of testing TmL, which should be validated in future research.

技术数学素养 (TmL) 被定义为数学、工作场所和 ICT 知识以及沟通技能的组合，被认为是 STEM 教育的重要学习目标。尽管如此，关于在教学中解决这些问题和评估其发展的方法仍然有很多未知之处。为了调查这一点，我们设计并实施了一门创新的应用数学课程，重点关注工程一年级学生的技术数学素养，并开始衡量该课程的学习效果。由于测量 TmL 是一个未知领域，因此我们设计了可作为预测试或后测试的测试。为了防止测试学习效应，我们旨在设计两个不同但难度相同的测试A和B。这些测试被随机分配给68名化学学生，作为预测试，另一项作为课程后的后测。在 B-pr​​e 组中发现 TmL 显着发展，但在 A-pre 组中则没有。因此，作为后续分析，我们调查了这两个测试是否同样困难，并寻找可能的解释。我们发现，测试 B 确实被认为比测试 A 更难，但被分配 B（预科）的学生之前的成绩高于 A（预科），并且对基本技能的掌握水平良好，为更高阶的学习奠定了基础。 TmL 似乎是必要的。此外，由于 TmL 本质上非常异质，因此其中一些比其他更容易学习和测量。根据结果​​，我们提出了测试 TmL 的方法，这应该在未来的研究中得到验证。但不在 A-pre 组中。因此，作为后续分析，我们调查了这两个测试是否同样困难，并寻找可能的解释。我们发现，测试 B 确实被认为比测试 A 更难，但被分配 B（预科）的学生之前的成绩高于 A（预科），并且对基本技能的掌握水平良好，为更高阶的学习奠定了基础。 TmL 似乎是必要的。此外，由于 TmL 本质上非常异质，因此其中一些比其他更容易学习和测量。根据结果​​，我们提出了测试 TmL 的方法，这应该在未来的研究中得到验证。但不在 A-pre 组中。因此，作为后续分析，我们调查了这两个测试是否同样困难，并寻找可能的解释。我们发现，测试 B 确实被认为比测试 A 更难，而且被分配 B（预科）的学生之前的成绩高于 A（预科），并且对基本技能的掌握水平良好，为更高阶的学习奠定了基础。 TmL 似乎是必要的。此外，由于 TmL 本质上非常异质，因此其中一些比其他更容易学习和测量。根据结果​​，我们提出了测试 TmL 的方法，这应该在未来的研究中得到验证。而且，被分配为 B（预科）的学生之前的成绩高于 A（预科），并且对基本技能的良好掌握水平似乎是为更高阶 TML 奠定基础的必要条件。此外，由于 TmL 本质上非常异质，因此其中一些比其他更容易学习和测量。根据结果​​，我们提出了测试 TmL 的方法，这应该在未来的研究中得到验证。而且，被分配为 B（预科）的学生之前的成绩高于 A（预科），并且良好的基本技能掌握水平似乎是为更高阶 TML 奠定基础的必要条件。此外，由于 TmL 本质上非常异质，因此其中一些比其他更容易学习和测量。根据结果​​，我们提出了测试 TmL 的方法，这应该在未来的研究中得到验证。