鄭 瑀
キネティック照明装置を用いたオーディオビジュアル・インスタレーションの構成法の研究
本論文は、キネティック照明装置を用いたオーディオビジュアル・インスタレーション作品を効果的に構成する方法論の確立を目的とする。
オーディオビジュアル・アートは、視覚的なものと聴覚的なものを鑑賞者に同時に提示するような芸術作品の形態である。そこにおいては、オーディオビジュアル固有の効果的な視聴体験を得るために、視覚と聴覚がどうのように関連づけられるべきだろうかということが問題となる。この問いに答えたものとして、多くの先行研究では、作曲家 Michel Chion が映画音楽などについて提唱した付加価値の概念が重要なものとして認識されている。しかし、付加価値の概念の曖昧性が指摘されることもあった。そこで、筆者は付加価値の概念の重要性を根拠づけるため、心理学的、及び神経科的な観点からの視聴覚融合に関する知見を援用し、付加価値をクロスモーダル効果として再解釈し、明確化を行なった。
視聴覚におけるクロスモーダル効果が生じるためには、視覚と聴覚の同期が重要である。それを実現するための手法として、先行研究ではパラメータ・マッピングという手法が提唱されていた。心理学的な観点からの先行研究の調査を行なったところ、パラメータ・マッピングにおいてクロスモーダル効果を高めるためには構造的調和、意味的調和、知覚の透明性という三つの指標が重要であることがわかった。
そこで、筆者はキネティック照明装置を用いた代表的な作品例の分析を行い、パラメータマッピングの三つの指標が新しい作品の理解にも有用であることを証明した一方、「仮想因果効果」とでも呼ぶべき視覚と聴覚の新たな関係性のタイプの可能性を見出した。
さらに、作品分析によって確認された知見を作品制作の方法論へと高めるため、筆者は1台のレーザー・プロジェクタと16台の鏡付きモーターを用い、パラメータ・マッピングを実現する独自のシステムを開発し、キネティック照明装置のためのオーディオビジュアル作品を制作した。そこでは、様々なパラメータ・マッピングのパターンを案出し、実装した。それを通して、三つの指標を創作の方法論として活用できることを確認することができ、さらに仮想因果効果をもたらす実例も提示した。
ZHENG Yu
Compositional Strategies for Kinetic Light Audiovisual Installation
The purpose of this paper is to establish a methodology for effectively composing Kinetic Light audiovisual installations.
Audiovisual art is a form of artwork in which the visual and auditory are presented simultaneously to the viewer. The question then becomes how the visual and auditory should be related in order to achieve an effective, audiovisual-specific viewing experience. In response to this question, many previous studies have recognized the concept of value-added, as proposed by composer Michel Chion for film music, as an important one. However, the ambiguity of the concept of value-added has sometimes been pointed out. In order to clarify the importance of the concept of value-added, the author reinterpreted it as a cross-modal effect, drawing on psychological and neurological findings on audiovisual fusion.
Synchronization of the visual and auditory senses is important for cross-modal effects to occur in the audiovisual environment. To achieve this, a method called parameter mapping was proposed in a previous study. A survey of previous studies from a psychological perspective revealed that three indices are important for enhancing cross-modal effects in parameter mapping: structural congruency, semantic congruency, and perceptual transparency.
Therefore, the author analyzed representative examples of works using kinetic lighting devices and proved that the three indicators of parameter mapping are useful for understanding new works. They also found the possibility of a new type of relationship between vision and hearing that could be called a “virtual causal effect”.
Furthermore, in order to translate the findings into a methodology for creating artworks, the author developed an original system for parameter mapping using a laser projector and 16 motors equipped with mirrors, and created an audiovisual work for a kinetic lighting system. The author proposed and implemented various parameter mapping patterns. Through this process, we were able to confirm that the three indicators can be used as a methodology for creation, and we also presented an example of a virtual causal effect.