GA分享 | 音画交互的多场景运用，不止于舞台演绎

“音乐和视觉艺术都不是对方的副产品，而是一种相互依托、由此及彼的关系。”

——Rob Young

上期内容浅谈了《乐夏2》舞台运用的新媒体技术，像音画交互、全息投影、感应激光等等。（具体的技术运用可以点击GA分享 | 聊聊《乐队的夏天2》的舞美技术查看）其中运用最多属音画交互设计，像Mandarin的《Echo》、重塑的《PIGS IN THE RIVER》、大波浪的《No Such Disease》等舞台都运用了这项技术。

音画交互设计是数字媒体技术不断发展并结合实际应用而催生的新兴设计领域。以数字媒体为重要平台对声音和视觉要素的关系进行探索。运用场景非常广泛，不止于音乐演出，还有沉浸式装置、舞蹈表演、VR游戏、全景音画交互等等。

本期内容就和大家分享音画交互的多种运用场景。

01.

音乐演出

音画交互最常被运用在音乐演出上，像上面讲到的《乐夏2》。表演者的人声或者乐器演奏出来的音频通过媒体软件转化为点、线、面、波浪等视觉影像。打破传统演出形式，打破舞台与观众的界限，将原本局限的舞台往下延伸，给予观众全方位沉浸式体验。

图片来源于百度

德国著名的音乐家和视觉艺术家阿尔瓦·诺托（Alva Noto）很多作品都运用了这项技术，比如他与日本音乐家坂本龙一的神仙级演出。古典音乐与电子音乐融合，钢琴与合成器等电音器材碰撞，舒缓的钢琴声与韵律的电子声交错，画面投影的点和线连接跳跃，整个舞台空间的听觉与视觉同步互动，整个表演呈现极简、前卫的抽象风格，让观众沉浸在音乐的无限延伸里。

02.

沉浸式装置

提到“极简主义”，你的第一反应肯定是联想到建筑设计与空间布局，但你知道音乐上也存在“极简主义”吗?

日本电子音乐创作的领军人物——池田亮司在音乐上就是个极简主义者。他的作品往往舍弃掉旋律或调式的营造，而留下最简单的节奏，并运用互动式声音装置等创作方式将音乐、时间和空间以数学方法重新塑造变现。

图片来源于百度

单一循环的音频转化为简单无尽的数字或线条，随着节奏流动闪烁的画面让你瞬间沉浸其中，并融合为作品的一部分。池田亮司将声音视为一种“感觉”而非物理现象来研究，试图展现这种感觉与人类感知之间的关系。

03.

舞蹈表演

音乐的节奏可以通过音画交互可视化，渲染演奏者的情感表达，为观众传递情感讯息。舞蹈的无声肢体语言更需要表演场景的营造。安逸的旋律、互动的光影场景以及舞蹈家优美的形体表演，除了视觉上的冲击，更能将观众带入到整个表演当中。

04.

VR游戏

VR游戏，只要你带上虚拟现实头盔，就可以让你进入一个可交互的虚拟现场场景中，不仅可以虚拟当前场景，也可以虚拟过去和未来。虚拟游戏的设计必须真实逼真，“欺骗”游戏玩家的感官，赋予玩家身临其境的带入感，而这当中音画交互设计肯定必不可少。

05.

全景音画交互

随着新技术和新媒体的高速发展，人们聆听音乐的方式也将悄然发生改变。设计沉浸式音画交互体验，将声音和画面在虚拟现实环境中奇妙组合，寻找音乐与画面的平衡点，让观者在虚拟现实的环境中，感受“身”临其境与“声”临其境。

06.

“小编说”

音画交互是一项新媒体技术，运用的场景还有很多，比如虚拟数字音画交互等等。不仅在艺术表现形式上，商业上的运用也有很多待发掘的想象空间。学习这项技术的门槛并不高，如果你也有兴趣了解学习，那记得关注我们。我们不仅有线上的免费VVVV系列教程，还有线下面对面的研讨交流会，希望能为想学习这项技术的伙伴打造一个交流平台。

当然，随着技术的迭代升级，科学、技术与艺术有更多融合的可能性与无限场景。但艺术始终还是要回归到内容上，盲目的使用炫酷的科技技术，同质化作品会让观众审美疲劳，失去惊叹的享受。