orangeitems’s diary

クラウドで働くインフラエンジニアの日々の感想です(ほぼ毎日更新)。

自動演奏の限界

f:id:orangeitems:20200618085210j:plain

 

自動演奏の限界

ヤマハの自動演奏ピアノとリモート技術に関しての感想です。

 

www.itmedia.co.jp

ヤマハは6月17日、ドイツのフライブルク音楽大学に、自動演奏機能付きピアノを使ったリモート実技試験を行えるシステムを提供したと発表した。6月に行った入学試験では、日本と中国の学生3人がそれぞれの国からピアノを演奏した。

 

自動演奏ピアノによって、遠隔へパフォーマンスを届けることができるのなら、著名演奏家の演奏をどこでもいつでも再現できるのではないか、と思っていらっしゃるかたも多いのではないかということで書きます。

私は、無理だと思っています。

ピアニストが何を思って演奏しているか。一流もしくはそれを目指している方がやっていることを思えば明らかです。

彼らは、演奏をしながら、そのホールの特性を知り音の響きを確認している。そのピアノの特性を知り、打鍵と音の関係についてバランス調整をしている。ライブでその場にあった演奏を自然と調整しているのです。

リハーサルがある場合はそこで調整しますが、リハーサルのない演奏会の場合はその傾向が顕著です。演奏しながら瞬時に調整していきます。演奏が進むとともにどんどん演奏が良くなっていきます。それは単に打鍵するということではなく、耳を使ってフィードバックを受け新たなアウトプットをしていくのです。

よく楽器演奏を再現技術という言葉で評する人がいますが、再現は全ての本質ではなく、ライブにおいては単に打鍵を再現するだけではありません。一部のテレビ番組のように「ミスタッチが無いならいい」「テンポがぶれない」というのも狭い見方だと思います。なぜ近年ライブがこんなに流行したかというと、演奏家たちが会場の状態や観客を見ながら演奏の調整を行うため、最適化されコミュニケーションが成立したからだと考えています。

だから、遠隔に飛ばすとか、その打鍵情報を記録する、ということはそのような調整能力を一切無視するということにほかなりません。何度繰り返してもデジタル的に全く同じように再現されてしまいます。

 

自動演奏の歴史

自動演奏の記事を添付します。

 

toyokeizai.net

自動演奏ピアノの歴史は意外に古く、まず頭に思い浮かぶのが19世紀末に開発された「ピアノロール」だ。記録紙であるロールペーパーに、演奏に基づいた穴を開け、空気圧によってピアノのハンマーを作動させるピアノロールは、黎明期のレコード録音技術よりもずっとリアルに演奏を再現できたことから、多くのピアニストたちがこぞって録音を残している。

このピアノロールで再生されたピアノの音をCD化したアルバムが『コンドン・コレクション』として発売されているのだが、聴いてみてもどうもピンとこない。正直な話、生きた人間が弾いた演奏に聴こえないのだ。

 

かなり長い歴史があるこの分野で、デジタル化とインターネットの登場で、技術革新が起きていることも事実です。

昨今はAIも使っています。

 

www.itmedia.co.jp

ヤマハは10月23日、1982年に亡くなった伝説的なピアニスト、グレン・グールドの音楽表現を再現できるAIのコンサート映像を公開した。9月7日にオーストリアで行われたもので、AIを使ったシステムがグレン・グールドの代表曲や未演奏曲を独奏した他、気鋭のピアニスト、フランチェスコ・トリスターノとのピアノ二重奏など、現代の演奏家との“時空を超えた合奏”も披露した。

 

過去のアーティストの作品を機械学習にかけ、特徴や個性を新しい作品に反映させる。こうすると何が起こるかと言うと、「著しく似ているモノマネ」が出来上がります。しかし実物にはなりません。故美空ひばりさんのAI再現が去年の紅白歌合戦で披露されましたが、何とも言えない違和感がありましたよね。

これは、演奏者はあくまでもその場にいて、最適化を行い、観客の反応を見ながら自身の気分でアレンジしていることをさっぱり無視しているからだと思っています。

それぐらい、ライブは毎回違いますから、複数公演あるライブで全部見に来る人も登場するのでしょうね。

 

録音によってたくさんの情報が失われる

この前、ホールの演奏を、iPhoneとリニアPCM/ICレコーダーの両方で撮ってみたんです。

iPhoneの音は一言で言って「聴きやすい」。前提としてどんな録音をするかわからないので、人が聴きとろうとする周波数を強調するように作られているように思います。音の強弱はある程度平坦化され、残響などはカットされるように思います。

一方で、リニアPCM/ICレコーダーの音は、全ての音を正確に把握すると同時に会場の響き(エコー)まで収録しますので、その残響までハーモニーにしようとします。強弱の表現もストレートです。

どういう用途で録音するかで使い分ければいい話なので優劣ではないのですが、全く同じ演奏なのに違って聞こえるというのは大事だと思います。

例えば冒頭の試験の記事でも、iPhoneの音とリニアPCM/ICレコーダーの音のどちらで判断するかで点数が違ってきます。いくら演奏者が調整しても、iPhoneでは伝わらない。

 

最近テレワークでWEB会議によるコミュニケーションを活発に行っていますが、演奏ほど音自体から情報を得る必要はありません。むしろ途切れないとか、聞き取りやすいとかが大事。Google Meetに、ノイズキャンセル機能が実装されたそうです(まだ使ったことは無いですが)。

 

gigazine.net

Google Meetに新たに搭載されたノイズキャンセル機能は、ビデオ会議に参加したユーザーの通話から、犬の鳴き声や掃除機の駆動音のような「ノイズ」を除去してくれるという機能です。以下のムービーを見ると、このノイズキャンセル機能の威力を理解することができます。

 

音の調整をシステム側が行う好例です。

 

自動演奏の分野は、どうやっても超えられない壁があることを説明しました。

とは言え、何もできないより良いのでしょう。音楽大学も渡航できない状況で外国留学生を集めたい事情もあります。

正しく、世の中の動きを理解していきたいものです。便利ばかりを追求した結果、本質を見失うことがないように。