動画の切り抜きをGeminiに頼む準備候補の指定からMP4書き出しまで

セミナーや操作説明を短く紹介したいとき、「動画を要約して」だけでは編集に使う区間が決まりません。「操作が成功する場面」「よくある質問への回答」「商品の違いが分かる実演」のように、切り抜きを見る人へ何を伝えるかを先に決めます。

例えば、AIエージェントが任せられる仕事を説明する動画なら、「予定調整やファイル整理など、具体的な仕事を挙げている区間」が候補です。Geminiには開始と終了だけでなく、その区間を選んだ理由、映像に見えるもの、音声で説明していることを分けて返してもらいます。

筆者は、公開済みの80.41秒の説明動画から、24.075秒〜36.987秒を手入力で選び、約13秒の音声付きMP4を書き出しました。この時刻は字幕を読んで選んだもので、Geminiが見つけた候補ではありません。

この区間には、使い道を判断するときの注意点もありました。区間内から取り出した静止画を字幕と見比べると、予定調整や社内ツールへの登録という説明に、パソコンを使う人物やロボットなどのイメージ映像が対応していました。「できる仕事を説明する短い動画」と「実際に予定を登録する操作の実演」では、採用する画面の条件を変える必要があります。

手元で試した範囲では、開始と終了を候補ファイルへ保存すると、選んだ区間を同じ条件で書き出せるのが便利でした。切り直すときも、そのファイルの時刻を変更すれば済みます。Geminiに候補を探し直してもらう操作と、採用区間を編集する操作を分けられます。

ただし、配布コードが行う編集は区間の切り出しまでです。今回の出力は元動画と同じ1080×1920の縦動画で、画面に焼き込まれていた字幕もそのまま残りました。横動画の縦型への構図変更、字幕の書き換え、音楽の追加は行いません。SNS向けに仕上げるなら、切り出した後の編集も見込む必要があります。

同じ約13秒でも、音声の説明を聞かせる用途と、実操作の証拠を見せる用途では採否が変わります。候補の時刻が正しいかに加え、「この画面で何を伝えたと言えるか」を確認する作業が残ります。Geminiの候補抽出そのものの使い勝手や正確さは、まだ評価できていません。

Googleは2026年9月1日、Geminiの「Agentic Video Understanding」を発表しました。質問に応じて動画内を探し、必要な画像、音声、文字起こしを読み直す機能です。プログラムからGeminiを呼び出すAPIで利用します。

従来の標準的な読み方では、一定間隔で取り出した画像と音声などを処理します。新しい方式では、Geminiが必要な箇所を選んで調べるため、長い動画から特定の出来事を探す用途が想定されています。ただし、素材と質問によって使い分けが必要です。

これはGoogleの現行資料に基づく選び方です。今回の80秒の素材で新方式の速度や精度が優れると確認したものではありません。長尺で試す前にも、内容を把握している短い素材で、欲しい場面を指示できるか確かめると判断しやすくなります。

2026年9月19日時点では、Gemini 3.8 Flashなどが対応しています。配布コードはgemini-3.8-flashを初期値にしています。利用するモデルと提供状況は、末尾のGoogle公式資料で実行時に確認してください。

自分の素材に当てはめるなら、作りたい短編に合わせて探す条件を変えます。次は依頼の組み立て方の例であり、Geminiで成功を確認した用途一覧ではありません。

まず、候補を「何秒程度」「何件まで」出すかを決めます。見つからなければ空の候補を返すようにして、無理に場面を作らせない形にします。次は、配布コードの依頼文を自分の動画へ書き換える際の例です。

この動画から、AIエージェントに任せられる具体的な仕事を
説明している切り抜き候補を探してください。

用途は、AIに詳しくない人へできることを紹介する短い動画です。
候補は最大3件、各8〜25秒にしてください。
文の途中で始まったり終わったりする区間は避けてください。
条件に合う場面がなければ、clipsを空配列にしてください。

各候補の開始秒をstart_s、終了秒をend_s、選んだ理由をreasonに入れてください。
visual_evidenceには実際に画面に見えるものを、
audio_evidenceには音声で説明していることを書いてください。
音声の説明を、画面で実行された操作として扱わないでください。
approvedはすべてfalseにしてください。

開始と終了は、機械で読みやすいJSONという形式で受け取ります。配布するprompt.txtには、この依頼文に加えてJSONの項目名も指定してあります。用途を変えるときは、冒頭の題材と採用条件を書き換え、項目名は残してください。

例えば、操作マニュアルの抜粋が目的なら、「操作開始前の状態と、完了後の状態が画面に見える区間」を条件に足します。音声だけで説明している区間を採用しない、と書けば、先ほどのイメージ映像との取り違えを確認しやすくなります。

末尾の「切り抜き用コード一式」には、Geminiへの依頼文、候補の保存、時刻の検査、動画の書き出しを行うPythonコードを入れています。Python 3.10以降と、動画を処理するFFmpegが必要です。ffmpegとffprobeをターミナルから呼び出せる状態で使います。

APIなしで切り出しを試す場合

末尾の元動画をダウンロードし、キットと同じフォルダへrecording.mp4という名前で置きます。manual-example.jsonをapproved.jsonという名前で複製し、元動画の24.075秒〜36.987秒を確認してから、approvedをtrueへ変更してください。後の「元映像を見てから採用区間を書き出す」節にあるcheckとcutを実行すれば、Gemini APIのキーも追加のPythonライブラリも使わずに書き出せます。

この操作で試せるのは、元動画から採用区間を取り出す工程です。候補を探すAIの精度は、次のAPI呼び出しで別途確かめます。

Geminiへ動画を送って候補を探す場合

このコードの候補抽出部分は、Gemini APIで未実行です。利用するAPI環境で最後まで動くことや、候補の正しさは確認できていません。以下は公式仕様に基づいて用意した実行手順です。

コードを展開したフォルダで、次の準備をします。

python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt

Gemini APIのキーをGEMINI_API_KEY環境変数に設定し、調べる動画をrecording.mp4として置きます。キー自体を依頼文やコードへ書き込む必要はありません。

python video_clips.py analyze recording.mp4 --mode agentic --out review-agentic

このコマンドは動画と依頼文をGoogleへ送ります。契約と使用量に応じてAPI利用料が発生するため、最初は送信できる素材を一つ選びます。処理終了後に一時アップロードを削除し、削除できたかも記録するコードです。

成功すると、候補がreview-agentic/candidates.jsonへ保存されます。応答の原文と使用量も同じフォルダに残ります。候補抽出の通信が失敗した場合は停止し、自動で繰り返し送信しません。

候補を受け取ったら、元動画を開始時刻の数秒前から再生します。話の途中から始まっていないか、終了時刻で語尾が切れないか、映像の内容が用途に合うかを見て、必要なら開始と終了を直します。採用する候補だけapprovedをtrueにし、別名のapproved.jsonへ保存してください。

次は、今回手入力した区間を採用する場合の例です。自分の動画を使う場合は、その動画の時刻と根拠へ置き換えます。

{
  "clips": [{
    "start_s": 24.075,
    "end_s": 36.987,
    "reason": "任せられる仕事の具体例を短く説明している",
    "visual_evidence": "パソコンを使う人物とロボットなどのイメージ映像",
    "audio_evidence": "予定調整やファイル整理などを説明している",
    "approved": true
  }]
}

python video_clips.py check recording.mp4 approved.json
python video_clips.py cut recording.mp4 approved.json --out clips

checkは、時刻が逆順でないか、元動画の長さを超えていないかを調べます。映像の意味や話の切れ目までは判定しません。cutは、採用した区間だけをPC上で処理し、clips/clip-01.mp4などへ保存します。元動画を変更せず、同名の出力フォルダがあれば停止します。

実行で止まった場合は、次のように入力と保存先を見直します。

手入力した区間の書き出しでは、12.912秒の指定に対して12.933秒のMP4になりました。フレームや音声の単位で端がそろうため、指定した長さと小さな差があります。完成した動画も再生し、必要なら編集ソフトで終端や字幕を整えてください。

配布コードのmanual-example.jsonを使えば、末尾の元動画と組み合わせて同じ書き出しを試せます。最初は未採用の状態なので、映像を確認してからapprovedを変更します。

最初の素材で見たいのは、候補の数より「編集にそのまま使える区間があるか」です。候補ごとに、採用できたか、時刻の修正が必要だったか、映像の内容を取り違えたかを残すと、次の依頼文を直す材料になります。

処理方式を比較するなら、同じ動画と依頼文を使い、別の出力先で--mode staticも実行します。追加のAPI利用になるため、一回目の結果を読んでから比較するか決めます。所要時間とともに、入力だけでなく出力や内部処理を含む使用量をrun.jsonで確認し、モデルの現行料金表に照らしてください。短い一素材の結果から、長尺動画での削減率を見積もることはできません。

run.jsonのmodelが実行モデル、analysis_secondsが候補抽出の処理時間、usageがAPIから返った使用量です。total_secondsにはアップロードなども含まれます。使用量が取得できなかった場合は無料だったと解釈せず、料金の比較から外してください。

まずは、欲しい場面の場所を自分が知っている録画を一つ選びます。その場面をGeminiへどう説明すると見つかるか、候補をどこまで直せば使えるかを確かめてから、見返す負担が大きい録画へ広げる順序が実用的です。