German Title: Neuromagnetische Repräsentation musikalischer Timbre-Dimensionen im humanen auditorischen Kortex

Preview

PDF, English Download (8MB) | Terms of use

Abstract

The present work investigates the neuromagnetic representation of musical timbre dimensions in the human auditory cortex and aims at improving the understanding of timbre processing and perception. To this, neuromagnetic and psychoacoustic data were collected in a magnetoencephalography experiment and a psychoacoustic experiment, and the obtained data were set in relation to physical sound properties. Using magnetoencephalography, the subjects’ neuromagnetic responses to melodies with changes in pitch contour/instrument register/instrument family/sound location, as well as neuromagnetic responses to melodies differing in attack time, were registered in order to investigate the neuromagnetic processing and representation of three established timbre dimensions (pitch, brightness and attack time). The melodies consisted of oboe, clarinet, bassoon and bass clarinet notes, which were judged regarding their relative brightness in the psychoacoustic experiment. Results show that contour changes largely influence the neuromagnetic P2 response to the fifth tone of the melody, and register changes mainly affect the neuromagnetic N1 and P2 responses to the fourth tone of the melody; by contrast, changes in pitch contour, instrument family and changes in sound location do not have a major influence on the N1 and P2 responses to the fourth tone of the melody. This suggests that register changes are more salient than pitch contour, instrument family and sound location changes. Standardised attack times evoked significantly larger onset-N1 and onset-P2 responses than natural attack times, which implies that standardised attack times contain less instrument-specific information such that the auditory cortex rather uses spectral than temporal sound features for instrument identification. Results further indicate that the right auditory cortex is more involved in early timbre processing, whereas the left auditory cortex is more implicated in later timbre processing. The perceived brightness of the instrumental tones was found to depend more on pitch and instrument register than on instrument family. This observation highlights that pitch and register have a stronger effect on timbre perception than instrument family. Temporal sound features are mainly reflected in the N1 response, whereas spectral sound features are largely mirrored in the P2 response. Timbre perception depends more on temporal sound attributes and N1/P2 latencies than on spectral sound attributes and N1/P2 amplitudes. Beyond that, timbre processing – but not timbre perception – is influenced by the subjects’ musical aptitude and pitch perception preference.

Translation of abstract (German)

Die vorliegende Arbeit untersucht die neuromagnetische Repräsentation musikalischer Klangfarbendimensionen im menschlichen auditorischen Kortex und zielt darauf ab, das Verständnis der Klangfarbenverarbeitung und -wahrnehmung zu verbessern. Zu diesem Zweck wurden in einem Magnetenzephalographie-Experiment und einem psychoakustischen Experiment neuromagnetische und psychoakustische Daten erhoben, die anschließend in Bezug zu physikalischen Klangeigenschaften gesetzt wurden. Mit Hilfe der Magnetenzephalographie wurden die neuromagnetischen Reaktionen der Probanden in Bezug auf Melodien mit Änderungen in Tonhöhenkontur/Instrumentenregister/Instrumentenfamilie/Reizlokalisation, ebenso wie die Reaktionen auf Melodien mit unterschiedlicher Einschwingzeit, registriert, um die neuromagnetische Verarbeitung und Repräsentation drei etablierter Klangfarbendimensionen (Tonhöhe, Helligkeit und Einschwingzeit) zu untersuchen. Die Melodien bestanden aus Oboen-, Klarinetten-, Fagott- und Bassklarinettentönen, die im psychoakustischen Experiment hinsichtlich ihrer relativen Helligkeit beurteilt wurden. Ergebnisse der Studie zeigen, dass Konturänderungen weitgehend die neuromagnetische P2-Antwort auf den fünften Melodie-Ton beeinflussen und Registeränderungen hauptsächlich die neuromagnetischen N1- und P2-Antworten auf den vierten Melodie-Ton modulieren; im Gegensatz dazu haben Änderungen der Tonhöhenkontur, der Instrumentenfamilie und Änderungen der Reizlokalisation keinen bedeutsamen Einfluss auf die N1- und P2-Antworten bezüglich des vierten Melodie-Tons. Dies deutet darauf hin, dass Änderungen des Registers salienter sind als Änderungen der Tonhöhenkontur, Instrumentenfamilie oder Reizlokalisation. Standardisierte Einschwingzeiten riefen signifikant größere Onset-N1- und Onset-P2-Antworten hervor als natürliche Einschwingzeiten, was darauf schließen lässt, dass standardisierte Einschwingzeiten weniger instrumentenspezifische Informationen enthalten und der auditorische Kortex deshalb eher spektrale als zeitliche Klangmerkmale zur Instrumentenidentifikation heranzieht. Ergebnisse dieser Studie deuten ferner darauf hin, dass der rechte auditorische Kortex hauptsächlich an früheren Klangfarbenverarbeitungsschritten beteiligt ist, während der linke auditorische Kortex weitgehend an späteren Klangfarbenverarbeitungsschritten beteiligt zu sein scheint. Die wahrgenommene Helligkeit der Instrumentaltöne hing deutlich stärker von der Tonhöhe und dem Instrumentenregister ab als von der Instrumentenfamilie. Diese Beobachtung unterstreicht, dass Tonhöhe und Register einen größeren Einfluss auf die Klangfarbenwahrnehmung haben als die Instrumentenfamilie. Zeitliche Klangmerkmale spiegeln sich überwiegend in der N1-Antwort wider, während spektrale Klangmerkmale sich hauptsächlich in der P2-Antwort abzeichnen. Die Wahrnehmung der Klangfarbe hangt stärker von zeitlichen Klangmerkmalen und den N1/P2-Latenzen ab als von spektralen Klangmerkmalen und den N1/P2-Amplituden. Darüber hinaus wird die Klangfarbenverarbeitung - nicht aber die Klangfarbenwahrnehmung - durch die musikalische Begabung und Tonhöhenwahrnehmungspräferenz der Probanden beeinflusst.