Musical timbre is often described using terms from non-auditory senses, mainly vision and touch; but it is not clear whether crossmodality in timbre semantics reflects multisensory processing or simply linguistic convention. If multisensory processing is involved in timbre perception, the mechanism governing the interaction remains unknown. To investigate whether timbres commonly perceived as “bright-dark” facilitate or interfere with visual perception (darkness-brightness), we designed two speeded classification experiments. Participants were presented consecutive images of slightly varying (or the same) brightness along with task-irrelevant auditory primes (“bright” or “dark” tones) and asked to quickly identify whether the second image was brighter/darker than the first. Incongruent prime-stimulus combinations produced significantly more response errors compared to congruent combinations but choice reaction time was unaffected. Furthermore, responses in a deceptive identical-image condition indicated subtle semantically congruent response bias. Additionally, in Experiment 2 (which also incorporated a spatial texture task), measures of reaction time (RT) and accuracy were used to construct speed-accuracy tradeoff functions (SATFs) in order to critically compare two hypothesized mechanisms for timbre-based crossmodal interactions, sensory response change vs. shift in response criterion. Results of the SATF analysis are largely consistent with the response criterion hypothesis, although without conclusively ruling out sensory change.

中文翻译：

---

音色会调节视觉感知吗？探索跨模式交互

音乐音色通常使用非听觉的术语来描述，主要是视觉和触觉；但尚不清楚音色语义中的交叉模态是否反映了多感官处理或仅仅是语言约定。如果多感官处理涉及音色感知，则控制相互作用的机制仍然未知。为了研究通常被认为是“明-暗”的音色是否促进或干扰视觉感知（暗-亮），我们设计了两个加速分类实验。参与者被呈现亮度略有不同（或相同）的连续图像以及与任务无关的听觉启动（“亮”或“暗”音调），并要求他们快速确定第二张图像是否比第一张更亮/更暗。与一致的组合相比，不一致的初始刺激组合产生了更多的响应错误，但选择反应时间不受影响。此外，具有欺骗性的相同图像条件下的响应表明微妙的语义一致的响应偏差。此外，在实验 2（还包含空间纹理任务）中，使用反应时间 (RT) 和准确度的测量来构建速度-准确度权衡函数 (SATF)，以便批判性地比较基于音色的跨模态交互的两种假设机制，感觉反应变化与反应标准的变化。SATF 分析的结果与反应标准假设基本一致，尽管没有最终排除感官变化。此外，具有欺骗性的相同图像条件下的响应表明微妙的语义一致的响应偏差。此外，在实验 2（还包含空间纹理任务）中，使用反应时间 (RT) 和准确度的测量来构建速度-准确度权衡函数 (SATF)，以便批判性地比较基于音色的跨模态交互的两种假设机制，感觉反应变化与反应标准的变化。SATF 分析的结果与反应标准假设基本一致，尽管没有最终排除感官变化。此外，具有欺骗性的相同图像条件下的响应表明微妙的语义一致的响应偏差。此外，在实验 2（还包含空间纹理任务）中，使用反应时间 (RT) 和准确度的测量来构建速度-准确度权衡函数 (SATF)，以便批判性地比较基于音色的跨模态交互的两种假设机制，感觉反应变化与反应标准的变化。SATF 分析的结果与反应标准假设基本一致，尽管没有最终排除感官变化。反应时间 (RT) 和准确度的测量用于构建速度-准确度权衡函数 (SATF)，以便批判性地比较基于音色的跨模态交互的两种假设机制，即感官响应变化与响应标准的变化。SATF 分析的结果与反应标准假设基本一致，尽管没有最终排除感官变化。反应时间 (RT) 和准确度的测量用于构建速度-准确度权衡函数 (SATF)，以便批判性地比较基于音色的跨模态交互的两种假设机制，即感官响应变化与响应标准的变化。SATF 分析的结果与反应标准假设基本一致，尽管没有最终排除感官变化。