テキストで指示をすると、それに沿った内容を返してくれる「ChatGPT」、イラストを描いてくれる「Stable Diffusion Online」など、機械学習モデルを取り入れた、多様な生成AI（ジェネレーティブAI）がリリースされて久しくなりました。そんな中でも、テキストで簡単な指示を書いたり画像をアップロードしたりするとショート動画を作成してくれる「Runway Gen-2」が、2023年8月にRunwayの公式サイトで発表され、注目を集めています。
今回は、テキストから動画を生成できる「Runway Gen-2」を解説していきます。
1.Runwayとは何か？
Runwayとは、ユーザーが入力したテキストや画像、ビデオクリップから、全く別の新しいイメージや動画を制作できる生成AIであり、さまざまな分野で活躍するクリエイターのためのプラットフォームです。種類の異なる複数の情報を集約し、別のものを生成するところから「マルチモーダルAI」の一種でもあります。30近いAIツールを駆使し、画像や動画の背景を切り抜いたり、字幕を追加したり、音声ファイルからテキストを抽出したり、動画を編集したりといったことが可能です。
このツール自体は、以前からWebブラウザで動画編集できるツールとして2019年頃から提供されていましたが、2023年に第95回アカデミー賞において7つの賞を受賞した映画『エブリシング・エブリウェア・オール・アット・ワンス（Everything Everywhere All At Once）』にRunwayの技術が活用されていることで、注目を集めるようになりました。
Gen-2とは
Runwayを開発したアメリカの企業ランウェイ社は2023年、「Gen-2」を発表しました。Gen-2は、テキストや既存の画像や映像から新たな動画を生成できるAIモデルで、カメラや照明、グリーンバックなどの機材を使わず、動画を作成するための撮影も編集も必要とせずに、最大16秒までの動画を生成できます。また、動画編集や画像編集を行うためには複数ものアプリケーションを活用しますが、短い動画であればWebブラウザまたはスマートフォンアプリの中で制作を完結できます。
＜Gen-2の主要な機能＞
・Text to Video（テキストからビデオ）：
英単語や英語の文章で320文字以内で入力（プロンプト生成）すれば、その内容に沿った動画を自動で作成してくれます。
・Text（またはDescription）+ Image to Video（テキストと画像からビデオ）：
プロンプトに加えて、参考とする画像を追加して動画を生成する機能です。
・Image to Video（画像からビデオ）：
アップロードした画像から動画を生成します。
・スタイライゼーション：
任意の画像やプロンプトのスタイルをビデオの各フレームに転送します。
・レンダリング：入力画像やプロンプトを適用することで、テクスチャなしのレンダリングをリアルな出力に変換します。
なお、「Extend 4s（4秒追加）」ボタンを4回押すことで、合計16秒の動画を作成できます。画像をアップロードしたり、プロンプトを入力したりしたのちに生成ボタンをクリックするだけで、ダイナミックなビデオが出来上がります。
参考：Introducing Gen-2: Text to Video | Runway
https://research.runwayml.com/gen2
2.コンテンツ制作の基本機能
Runwayを実際に使うときは、「Log in」または「Sign Up — It’s Free」などのボタンからログインします。その際、GoogleまたはAppleのアカウントでのログイン、メールアドレスとパスワード入力のいずれかを選択可能です。ログインすると、「AI Magic Tools」という以下のダッシュボードが現れます。
Runwayは現在、英語以外の言語に対応していないため、GoogleやDeepLといった翻訳ブラウザアプリや、ChatGPTやBard、BingAIといった生成AIを使いながらコンテンツ制作をブラウザ上で進めます。
プロジェクト・アセットの管理
まず左側のメニューから「Assets」を選択します。ここには、ユーザーが作成したりアップロードしたりした全てのファイルが集約されています。右上の「Upload」ボタンをクリックし、画像や動画をアップロードしましょう。
アップロードしたファイルは、「Recently exported」または利用したツールごとに自動的に作成されるフォルダ（Gen-2、Gen-1など）に保管される他、ページの下にリストとして表示されます。ページ下のリストには、日付別やファイルの種別などさまざまなタイプでソートできるので、Shiftキーを押しながら複数のアセットを選択してフォルダにドラッグしたり、ダウンロードしたり、削除したりできます。ファイルを1つだけ削除したい場合は、該当のファイル名の上で右クリックして「Delete」を選択するだけでできます。
「Assets」フォルダの先頭には、最近のエクスポートを表示し、Runwayで作成またはアップロードした動画や画像は、自動的に「Private」の方のアセットフォルダに追加されます。他のメンバーと共有したい場合は、右クリックメニューから「Share with Workspace」を選択します。他のメンバーと共有しているアセットは「Shared」の方のフォルダに追加されます。必要に応じて、「Shared」にあるアセットをいつでも「Private」に移動可能です。
動画編集機能
動画を編集するときは、左側の「Video Editor Projects」から編集したい動画を選択し、編集画面を開きます。編集画面を開き、青く囲われた動画の最初のシーンをクリックすると、右サイドと動画の下に編集機能がいくつか現れます。動画をアニメーションにしたり、切り抜いたり、動画の再生速度を変えたり、動画のサイズを変換したり、動画にエフェクトをかけたりと、本格的な動画編集機能が揃っています。
字幕/音声編集機能
動画に、字幕を追加したり音声のボリュームを調整したりすることも可能です。「Assets」から「Gen-2」フォルダをクリックし、編集したい動画を選択しましょう。編集画面が出てきたら、「Assets」フォルダのすぐ下に「Text」アイコンがあるのでクリックすると、字幕を追加できます。右サイドバーの「Font」メニューから編集できるのは、以下の項目です。
フォントの種類
文字の大きさと太さ
字間
文字の位置
文字の色と濃さ
※5のすぐ下にある「Background」は、字幕の背景に色をつける機能です。
音声編集は、音声ありの動画をGen-2フォルダにアップロード後に、編集したい動画を選択し、編集画面を開くと、右サイドメニューの下の方に出てきます。ここでできることは以下の3つのみです。
音声の大きさの調整
フェードイン・フェードアウト
音声を全て削除
3.コンテンツ生成機能
Runwayには、Gen-2以外にも、Gen-1をはじめとした、より良いコンテンツを生成するための機能が数多く搭載されています。その中でも代表的なものをご紹介します。
テキストからの画像生成（Text to Image）
完成後のイメージをテキストで入力するだけで、AIイメージジェネレータを使って画像を生成できます。生成後の画像は、Runwayの機能を使って編集したり、Gen-2モデルを使って画像から動画にしたりすることが可能です。
How to Use Text to Image | Runway
画像からの画像生成（Image to Image）
変更や変換をしたい画像をアップロード後にプロンプトを入力して、別の新しい画像を生成する機能です。出力するときの画像のスタイルやプロンプトの重さを調整することで、より創造性の高い画像やリアリティのある画像を自動で作成できます。
How to Use Image to Image | Runway Academy
プロンプトからの動画生成
「Gen-2の主な機能」でも説明した通り、Gen-2モデルでプロンプトを使って動画を生成するには、テキストのみ、画像のみ、および画像とテキストの組み合わせの3つの方法があります。
ちなみにこれらの方法で動画を生成した場合、Text to Video（テキストからビデオ）ではプレビュー表示が有効になりますが、それ以外の方法では動画そのものがプレビューになるためプレビュー表示はグレーアウト、つまり無効になっています。
3Dコンテンツ生成
RunwayのAI Magic Tools では、テキストのプロンプトまたはRunwayアカウントにアップロードした動画から、以下の4項目において3Dコンテンツを生成できます。いずれも、アニメーションビデオや広告で使用できます。
3D Textures：プロンプトを入力すると、指示文を反映した立方体が表示される。
3D Captures：画像や動画を立体的に変換する。
3D Cartoon、3D Render：テキストからビデオ生成時のみ。出力時のスタイルを指定するときに選択できる。※Cartoon＝コマ割りした画像をアニメーションかつ3D化したもの。Render＝3Dになった画像や動画に対して色や質感、光、影などの表現を加えたもの
Introducing Text to 3D Texture | Runway
4.便利機能など
Runwayには、たくさんの便利な機能があります。その一部をご紹介します。
Motion Brush：静止画の中で、動かしたい箇所をまるでブラシでなぞるように指定できる機能です。RunwayのAI Magic Toolsの中でも、最近リリースされたばかりのGen-2の機能の一つで、ベータ版として提供されています。
Motion Brush Techniques | Runway Academy
https://www.youtube.com/watch?v=pqawg7i_1DIInpainting：動画の中で不要な要素があれば、その部分を塗るだけで削除できる機能です。
Inpainting: Remove Objects From Any Video
Remove Background（自動背景除去）：動画の背景部分とそうでない部分を識別し、背景部分のみ自動で削除してくれる機能です。
Green Screen Video Background Remover：背景を選んで削除できる機能です。背景色や背景そのものを簡単に変えられます。
Motion Tracking：動画の中で、気になる対象をワンクリックすると、動きを追跡してくれる機能です。トラッキングした対象に字幕をつけることができます。
How to Use Motion Tracking in Video Editing | Runway
5. Runwayのメリットやデメリットと今後の展望
Runwayの動画生成AIは、費用をあまりかけずに動画を制作できるだけでなく、動画制作にかかる作業の効率化により時間短縮も期待できます。一方で、多言語対応していないこと、Runwayの倫理面での決まりごとがあり、表現したいことにやや制限がかかること、真偽を判断しにくいネット上の偽情報を生み出し、SNSでの情報拡散に貢献してしまうこと、AIで生成した制作物の著作権の所在が曖昧などのデメリットがあります。
テキストや画像を入力するだけで魅力的な映像を生み出す「Runway Gen-2」をはじめとしたRunwayの技術は今後、さらなる進化が起こり、個人で映像を作ることはもちろん、映像制作への導入が進むにつれて、広告業界やテレビ・映画といった映像産業を大きく変革する可能性を秘めています。無料で、誰でも気軽に利用できるので、まずはご自分で撮影した写真をアップロードし、Runwayの面白さを体験してみてはいかがでしょうか。
