Кросс-модальные ассоциации: связь звука и восприятия

1. Концепция
2. Что такое кросс-модальные ассоциации?
3. Эффект буба-кики
4. Звук и форма
5. Звук и другие модальности  — Яркость  — Размер  — Вес  — Положение в пространстве
6. Заключение
7. Библиография
8. Источники изображений

Почему высокие звуки кажутся нам «светлыми» и «маленькими», а низкие — «тёмными» и «массивными»? Почему, услышав резкий, отрывистый звук, мы интуитивно представляем нечто острое, а мягкий, плавный тон ассоциируется с округлыми формами? Эти вопросы лежат в области кросс-модальных ассоциаций — явления, при котором стимул одной сенсорной модальности (например, звук) автоматически вызывает ощущения или образы, относящиеся к другой модальности (форма, цвет, размер).

Тема кросс-модальных ассоциаций важна для саунд-дизайна, поскольку понимание этих связей позволяет осознанно создавать звуковые образы, которые будут интуитивно «читаться» слушателем. Кроме того, это явление показывает, что восприятие звука не ограничивается слуховой системой, а вовлекает комплексные процессы в мозге, связывающие разные каналы восприятия.

Визуальный и текстовый материал для исследования отбирался по принципу наглядности и научной обоснованности. Основу составляют классические эксперименты в области кросс-модальных ассоциаций, в первую очередь эффект буба-кики, описанный Вольфгангом Кёлером и развитый в работах Вилейанура Рамачандрана. Также включены исследования Чарльза Спенса и других учёных, изучающих связь звука с визуальными характеристиками. Иллюстративный материал подбирался таким образом, чтобы визуализировать абстрактные связи между звуком и другими модальностями: это схемы, изображения экспериментальных стимулов, спектрограммы и инфографика.

Исследование построено по принципу движения от общего к частному. Сначала вводится понятие кросс-модальных ассоциаций, затем рассматривается эффект буба-кики как отправная точка. Далее исследуются связи звука с формой, цветом, яркостью, размером. В завершающем разделе анализируются теории, объясняющие механизмы этих ассоциаций. Приоритет отдавался оригинальным научным работам исследователей кросс-модальных ассоциаций, а также обзорным статьям, систематизирующим экспериментальные данные. Важным критерием была воспроизводимость результатов в разных культурах и возрастных группах.

Ключевой вопрос исследования: почему определённые характеристики звука устойчиво ассоциируются с определёнными визуальными и тактильными свойствами объектов?

Гипотеза: кросс-модальные звуковые ассоциации не являются произвольными или исключительно культурно обусловленными. Они основаны на статистических закономерностях окружающей среды (объекты с определёнными физическими свойствами действительно издают характерные звуки) и на особенностях работы нейронных сетей, связывающих различные сенсорные зоны мозга.

Человеческое восприятие традиционно описывают как набор отдельных каналов: зрение, слух, осязание, обоняние, вкус. Однако в реальности эти каналы не работают изолированно — они постоянно взаимодействуют. Кросс-модальные соответствия — это устойчивые, неслучайные ассоциации между стимулами разных сенсорных модальностей, которые разделяет большинство людей.

Исследования показывают, что люди систематически связывают высокие звуки с маленькими, яркими объектами, расположенными высоко в пространстве, а низкие звуки — с большими, тёмными объектами внизу. Эти связи возникают автоматически и не требуют осознанного решения.

Почему мозг формирует такие связи? Одна из ведущих теорий — статистическая: мозг усваивает закономерности окружающей среды. В природе маленькие объекты действительно издают более высокие звуки при ударе, а мелкие животные производят более высокочастотные вокализации. Мозг усваивает эти корреляции, формируя ожидания о связи между звуком и визуальными свойствами.

Другие теории указывают на структурные особенности нервной системы (общие нейронные механизмы для обработки интенсивности в разных модальностях), семантические связи (мы используем слово «высокий» и для звука, и для пространственного положения) и эмоциональное опосредование (стимулы разных модальностей могут вызывать схожие эмоции).

Важно, что кросс-модальные соответствия обнаруживаются у младенцев уже в возрасте 3–4 месяцев, у людей из разных культур и даже у других видов — например, у собак и шимпанзе. Это говорит о том, что данные связи имеют фундаментальный характер и не являются исключительно результатом культурного обучения.

Самый известный пример кросс-модальных ассоциаций — эффект буба-кики. Его история начинается в 1929 году, когда немецкий психолог Вольфганг Кёлер провёл эксперимент: показывал участникам две абстрактные фигуры — округлую и угловатую — и просил соотнести их с бессмысленными словами «балуба» (позже «малума») и «такете». Подавляющее большинство связывали округлую форму с «малума», а угловатую — с «такете».

В 2001 году нейробиолог Вилейанур Рамачандран и его коллега Эдвард Хаббард воспроизвели эксперимент, заменив слова на «буба» и «кики». Они тестировали американских студентов и носителей тамильского языка в Индии. Результат оказался поразительно устойчивым: 95–98% участников в обеих группах назвали округлую фигуру «буба», а угловатую — «кики».

Эффект подтверждается и у детей. Исследования показали, что дети в возрасте 2,5 лет демонстрируют те же предпочтения, что и взрослые. Более того, эксперименты с младенцами 4 месяцев выявили, что они дольше смотрят на «несовпадающие» пары (например, округлая форма + «кики»), что говорит о врождённой чувствительности к этим соответствиям.

В 2022 году масштабное исследование проверило эффект на 917 участниках, говорящих на 25 языках с 10 разными системами письма. Результат: связь «буба» — округлое и «кики» — острое сохраняется в большинстве языков, хотя в некоторых (китайский, румынский, турецкий) эффект слабее.

Почему это работает?

— Акустическое: звуки «к» и «и» содержат резкие, высокочастотные компоненты, а «б» и «у» — более низкочастотные и плавные. Это соответствует визуальным характеристикам острых и округлых форм. — Артикуляционное: когда мы произносим «буба», губы округляются; при произнесении «кики» рот принимает более узкую, «острую» форму. — Статистическое: в реальном мире острые объекты часто издают резкие, высокие звуки (треск, звон), а округлые — более мягкие и низкие.

Почему звук разбивающегося стекла кажется «острым», а гудение контрабаса — «округлым»? Мы используем эти слова интуитивно, но за ними стоят вполне конкретные акустические параметры, которые мозг автоматически переводит в визуальные образы.

Первый и самый очевидный параметр — высота тона. Высокие звуки ассоциируются с острыми формами, низкие — с округлыми. Писк комара будто рисует тонкую резкую линию, а гул проезжающего грузовика — что-то массивное и обтекаемое. Эта связь настолько фундаментальна, что работает даже с простыми синусоидальными тонами, лишёнными тембра и обертонов: высокий тон «выглядит» угловатым, низкий — плавным.

Не менее важно то, как звук начинается — его атака. Резкое начало ассоциируется с острой формой, плавное — с округлой. Щелчок пальцев, хлопок двери, удар по клавише — все эти звуки врываются мгновенно, и мозг воспринимает их как нечто угловатое. А вот виолончель, вступающая на пианиссимо, или нарастающий звук органа в церкви — это мягкое, постепенное появление, которое ощущается округлым.

Третий параметр — тембр, то есть спектральный состав звука. В психоакустике существует такое понятие как острота: оно описывает, насколько много высокочастотных обертонов содержит звук. Тарелки в барабанной установке, скрежет металла, звон разбитого стекла — это яркие, насыщенные верхними частотами тембры, которые воспринимаются как «острые». Флейта в нижнем регистре, гул ветра в трубе, мурлыканье кота — тёмные тембры с преобладанием низких частот, которые звучат «округло».