CINRAに『トップガン マーヴェリック』でバル・キルマーが失った声をAIで再現して出演したことから、これからの役者の演技とAIの活用について考えた記事を掲載してもらいました。
『トップガン マーヴェリック』がんで失った俳優の声をAI技術で再現。技術革新が示す演技の未来 | CINRA
本作では声をAIで作っているのですが、現在の映画でのAI活用はそれにとどまりません。中には各国の吹替にあわせて役者の口の動きを作り直してしまうということも検討されています。
こうなると、僕らは映画を観る時に、役者が芝居したものを観ているのか、AIが作ったものを見ているのか、わからなくなってきますね。
俳優の演技はその演技をした俳優本人の技量や表現だと考えられてきましたけど、AIを使うことでいくらでも芝居を改変可能であるということは、何を意味するのでしょうか。こういう技術が一般化した時代には、芝居を評価する基準もこれまでと同じではいられないのではないか、そんなことを考えて記事を書きました。
以下、原稿作成時のメモと構成案です。
————-
構成１
Point
トップガンのバルキルマーについて・・・いかに声を取り戻したか、どんな技術で
その声の素材は本人だが、声の芝居を演じたのは誰と考えるべきか
外国映画やアニメの吹替で声の芝居は映像とは別である
私たちは今、何を見ているのか
計算可能性の世界と計算不可能性の面白さ
声を失った俳優を復活させられる、、バリアフリー的な観点からポジティブな話
↓
ただ、それは誰の「芝居」なのか。「声」は本人のものだとしても、「芝居」は誰のものか
撮影途中でレイア姫が死んだから、よみがえらせたことがある
↓
サンドラブロックのゼログラビティについても
映画の客観性のインデックス性について、
これはもはや保証されない
↓
完全なる客観性の何がすごかったのか。。。。絵画ならアーティストが全てコントロールできる
↓
映像は人の手を介さず、現実を切り取る、人が介入できない偶発的な領域に面白みがあるということ
↓
しかし、映画はますます不確実性を嫌うようになり、コントロールしたい欲望が増えていく
↓
トム・クルーズの映画は、まだ不確実性の多い作品。実際の本物の戦闘機を飛ばして役者を載せるのはなぜか。そこには計算不可能な領域の何かがあるから
構成2
Thesis
AIが映画製作にどんな変化をもたらすか。
Point３つ
バル・キルマーの声がAI生成で復活した
SONANTICの技術で、昔のバル・キルマーの声を学習させて作った
声の芝居を作ったのはエンジニアたちということになる
多くの可能性がある、、、ブログからも引用、自閉症の子どもの学習など
Sonantic – Helping actor Val Kilmer reclaim his voice
When an actor is unable to perform lines from our scripts—as in the case with Val—we need to do a bit more manual work. The first step is to gather audio recordings of the actor. For the best results, we need clean audio, with little background noise, in the highest-quality format.
Our first hurdle with creating the voice model for Val was that his team provided a relatively small amount of recorded material, which we knew would make it more difficult to produce the model. We first cleaned the audio, carefully removing background noise without destroying the speech content. Next, we generated transcripts from the audio and paired the audio and text together in short chunks. The Voice Engine then began training the model with the resulting data—about 10 times less data than we might have used in a typical project.
AIの利用は音声に留まらない
映像、脚本に至るまで機械学習の利用・研究は進んでいる
画面から人の痕跡は消えるのか
映画は客観的に人の手を介さずに現実を切り取れるもの
これはもはや担保されなくなった
今、私たちは何を見て何を聞いているのか。。。現実を切り取ったのではなく、何らかの形でクリエイトされたもの
アウラの問題
複製芸術にアウラは宿るかの議論
AIの表現にアウラは宿るかという問いが出てくる
映画から失われていく偶発性
全ては事前の計算可能な通りに作り手がコントロールできる
だが、トム・クルーズの映画は皮肉にもそこが売りではない。本当に戦闘機を飛ばして本物（それは偶発性にさらされた映像）にこだわる
俳優の演技とは何を指すのか、曖昧な時代に
バル・キルマーの声の芝居を作ったのは俳優ではない
では、アンディ・サーキスのモーション演技はCGアーティストとの共作によって芝居を作っているというべきか
ゼロ・グラビティのサンドラ・ブロックの身体の芝居はモーションアクターによるものだが、それでも彼女はサンドラ・ブロックとしてオスカーにノミネートした。
こういうものが当たり前になった時、私たちは芝居の評価の仕方自体を変えねばならないのでは。
↓
1人の芝居を形作るのは、俳優個人だけでなく、集団作業となる。アニメーションのキャラクターが複数のアニメーターと声優によってつ作られているのと同じように
Intro
『トップガン マーヴェリック』にバル・キルマーがアイスマン役で出演した
↓
彼は、喉頭がんの手術の影響で発声能力を損傷した。それゆえ、俳優としてのキャリアを退いた状態だった
↓
しかし、往年の役には替えが利かない。そこで、映画製作チームは、彼の声をAIアルゴリズムによって蘇られることにした。
↓
現実同様に、喉頭がんを患ったという設定になったアイスマンの、絞り出す言葉はファンの胸を撃った。映画に必要なファクターだと多くのファンが思った。
↓
再び自分を表現できるとバルは語った。この技術は多くの可能性をもたらすだろう。
SONANTICのCEOの意見
自閉症の学習機会など、色々なことに応用できる。
テクノロジーは障害を障害でなくす。メガネが開発される前までは、視力が悪くなっただけで障害者だった。
この技術が多くの人の助けになることは間違いないだろう。テクノロジーの用い方としてしごく真っ当で、これまで排除されてきた人々を包摂できるようになるものだ。
Body1 AI利用は音声に留まらない
映画のAI利用の現在。
映像の利用方法
チェチェンへようこその例 映画『チェチェンへようこそーゲイの粛清ー』｜2月26日（土）ユーロスペースほか全国ロードショー (madegood.com)
フランスとヘンティは、当事者の経験から表れる真実の感情を曖昧にすることなく、匿名性を保護する方法を模索し開発するために何か月も費やした。幾度も失敗を重ねたが、とうとう2つの解決策にたどり着いた。その方法を試すため、人間の共感と関係性研究の権威であるタリア・ウィートリー博士に相談した。博士はダートマス大学で109人の学生を対象とした研究にVFX画像を取り入れ、明確な成果を上げている。デジタルエフェクト会社300Ninjas,Inc.のライアン・レイニーによって開発されたその方法は、撮影された多くの被写体を、AIとディープマシンラーニングを使用したデジタル処理でマスキングするという技術だ。ディープフェイクのような技法だが、これまでの発想を覆す方法で利用している。画像を操作し、言っていないことを言っているように見せるのではなく、迫害の犠牲者が誰かの顔を借りて真実を語ることを可能にしている。フランスと彼のチームは、米国の人々、多くはニューヨークを拠点に世界中の反LGBTQ問題と闘っている活動家に呼び掛けて、映画に登場する22人の犠牲者らを守るため、活動の一環として顔を貸してくれるよう協力を求めた。「フェイスダブル」として、協力者をブルーバックで撮影し、その映像をアルゴリズム化し、マシーンラーニングを介して映画の登場人物の顔を覆う。同時に「ボイスダブル」で声も変えて、当事者を完全に特定不可能にした。
悪用されて来たディープフェイクのAI技術を、沈黙せざるを得なかった人々が真実を語るために、映画制作者が利用する。フランスはこの点について、「この方法を使わなければ、当事者らの存在は実体のない影のままで、機械音声による証言となってしまう。」と述べている。
↓
この技術によって、観客は匿名の誰かさんではなく、匿名性を保ったままに感情を持つ一個の人間として深く認識しうる
アニメーションの現場
ディズニーパークやピクサー映画で活用が進むAI技術 | AI製品・サービスの比較・検索・資料請求サイト (aismiley.co.jp)
2021年8月25日に世界同時公開された「ディズニー・ギャラリー／スター・ウォーズ：マンダロリアン」シーズン2では、最終話メイキングを公開。製作総指揮のジョン・ファヴローによると、Respeecherと呼ばれる音声合成ソフトが40年以上前のルークの声を蘇らせました。旧三部作やラジオドラマ版のルーク（マーク・ハミル）の音声をニューラルネットワークが学習してセリフを生成。本物と聞き分けができない見事なクオリティです。
音声合成に加えて、容姿には「ディープフェイク」というAI技術の利用も検討されました。しかし、実際にルークのディープフェイクを生成したものの実績が少なく不安だったことからディエイジングを使って旧作のルークが再現されました。ディープフェイクは悪用や倫理観がたびたび問題になりますが、ジョン・ファヴローは『ファンタジア』の魔法使いの弟子のミッキーマウスのように、新しい技術を十分理解して使わないと意図しない結果を招いてしまうとコメントしています。
脚本開発にも利用され始めている
Body2 画面から人の痕跡は消えるのか
「語っている」と書いたが、この声は件のAI技術を開発したSONANTIC社によって生成された。
映画は客観的に人の手を介さずに現実を切り取れるもの。。。バザン引用か
これはもはや担保されなくなった
今、私たちは何を見て何を聞いているのか。。。現実を切り取ったのではなく、何らかの形でクリエイトされたもの
↓
AIに限らずCG技術の発展がそれを主に失わせたと言える。デジタルの時代、映画は現実を切り取った保証は一切ない。むしろ、全てがクリエイトされたものとなる。
↓
映画から失われていく偶発性
全ては事前の計算可能な通りに作り手がコントロールできる
だが、トム・クルーズの映画は皮肉にもそこが売りではない。本当に戦闘機を飛ばして本物（それは偶発性にさらされた映像）にこだわる
↓
俳優の演技とは何を指すのか、曖昧な時代に
バル・キルマーの声の芝居を作ったのは俳優ではない
では、アンディ・サーキスのモーション演技はCGアーティストとの共作によって芝居を作っているというべきか
ゼロ・グラビティのサンドラ・ブロックの身体の芝居はモーションアクターによるものだが、それでも彼女はサンドラ・ブロックとしてオスカーにノミネートした。
こういうものが当たり前になった時、私たちは芝居の評価の仕方自体を変えねばならないのでは。
↓
1人の芝居を形作るのは、俳優個人だけでなく、集団作業となる。アニメーションのキャラクターが複数のアニメーターと声優によってつ作られているのと同じように
デジタル技術からマシンラーニングの世界へと発展していく世界において、
映像とは、なんなのかを根本から再考する必要がある。映画とは映像と音声の記録からなるものではなく、ゼロからクリエイトされたものだという見地に立って映画は今後、批評されていくべきだ。
↓
映像で見る現実とは何か、映像とは何を示すものか、認識自体の変化が必要になる事例だ。そして、それとともに映画の定義自体も変わる。映画批評の在り方そのものも。
『トップ マーヴェリック』のバル・キルマーは、そのささやかな、社会にとって良い一例だ。
「合成されていることなど、近い将来に判別できなくなるでしょうね」と、マンは言う。「映画がどの言語で撮影されたのか、観客は気づかなくなりますよ」
ディープフェイク技術を活用すれば、映画の俳優が多言語で“話せる”ようになる | WIRED.jp
The Making of ‘Gravity’ With Sandra Bullock, George Clooney – The Hollywood Reporter
■『トップガン マーベリック』ヴァル・キルマー、AI技術で声を取り戻す
・Daily Wire
・People
Val Kilmer Spoke in Top Gun: Maverick with Help from A.I. Voice Models | PEOPLE.com
Top Gun: Maverick Team Says Val Kilmer 'Was Thrilled' to Be in Sequel
How A.I. restored Top Gun star Val Kilmer’s voice | Fortune
Sonantic – Helping actor Val Kilmer reclaim his voice
When an actor is unable to perform lines from our scripts—as in the case with Val—we need to do a bit more manual work. The first step is to gather audio recordings of the actor. For the best results, we need clean audio, with little background noise, in the highest-quality format.
Our first hurdle with creating the voice model for Val was that his team provided a relatively small amount of recorded material, which we knew would make it more difficult to produce the model. We first cleaned the audio, carefully removing background noise without destroying the speech content. Next, we generated transcripts from the audio and paired the audio and text together in short chunks. The Voice Engine then began training the model with the resulting data—about 10 times less data than we might have used in a typical project.
『トップガン マーヴェリック』のヴァル・キルマー、咽頭がん闘病と声を失ったことについて赤裸々に語る｜ハーパーズ バザー（Harper’s BAZAAR）公式 (harpersbazaar.com)
映画とは何か、アンドレ・バザン
P19 写真映像の存在論より
絵画と較べての写真の独自性は、その本質的な客観性にある。実際、人間の眼にとって代わった写真の眼を構成する一組のレンズは、まさに《客観的なもの（オブジェクティーフ）》と呼ばれているのである。最初の事物とその表現との間にもう一つの事物（レンズもしくはカメラをさす）以外は何一つ存在しないというのは、これが初めてのことだった。厳密な決定論に従えば、外部世界の像（イマージュ）が人間の創造的干渉なしに自動的に形成されるというのは、これが初めてのことだった。
＜中略＞
写真の中においてだけわれわれは人間の不在を享受することができる。
P22 このような見通し（パースペクティブ）の中におかれる時、映画は、写真の客観性を時間の中で完成させたもののように思われる。
Even the Visors Were CG
In the end, about 80 percent of the film is photo-realistic CG: For the scenes set in space, only the actors’ faces come from live-action photography. Everything else — the environment, the space suits, even the visors — was CG.
The Making of ‘Gravity’ With Sandra Bullock, George Clooney – The Hollywood Reporter
But for a shot where they were in their suits, only their faces would be real, the rest of their bodies, suits, hands/limbs, environments, etc were all digital and fully 3D animated.
Bullock was also shot on occasion in a bicycle seat rig, named because she was essentially sitting on a bicycle seat. Here, though, one of her legs was heavily strapped in for safety so Framestore would be required to replace her leg in CG (with full body replacements and some full body and full-CG face shots forming part of the movie).
Some shots in Gravity did use the Light stage data, from a later session. Once both George Clooney and Sandra Bullock became the final cast, each actor sat for static facial scans that were used as both reference and for those shots where fully CG faces were needed.
Gravity: vfx that’s anything but down to earth – fxguide
『映画テレビ技術』2018年2月号、劇場用長編フルCG映画『スターシップ・トゥルーパーズ レッドプラネット』荒牧伸志監督・松本勝監督インタビュー、堀木三紀、P26
『ゼロ・グラビティ』にジョージ・クルーニーとサンドラ・ブロックが出ていますが、本当にでているのは顔だけ。身体は全部CGです。彼らがスタジオに来る前に、別の俳優がモーションキャプチャ―をして、体は全部作ってあり、最終的に表情のところだけジョージ・クルーニーとサンドラ・ブロックが演じて、合成したのです。
———-
メモ終わり。
この記事は書いてて楽しかったです。映画の未來を予測するみたいな内容ですし、これまでの映画のあり方も再考を迫るという部分もあったので。
映画、映像とは客観的な記録じゃない、何らかの形で生成されたものなのだということなんだと思います。実際、AIによって演技を生成できる時代、アカデミー主演男優賞や主演女優賞は誰が受賞すべきなんでしょうね。
関連作品
