OpenShorts導入実践:長い動画をAIショートに変換する
ポッドキャスト、ライブ配信、インタビュー番組を制作している人には共通の悩みがあります。1時間の動画の中で、ショート動画に適したハイライトはほんの数分かもしれません。手動で再生して確認し、編集し、字幕を追加し、再フレーミングする一連の作業に半日かかってしまいます。OpenShortsはオープンソースのOpusClip代替ツールで、このパイプラインを自動化します。長い動画を入力すると、自動文字起こし、AIによるハイライト選択、9:16縦型への再構成、字幕の焼き込みを行い、すぐに公開できる完成品を出力します。
仕組みを見てみましょう。まずfaster-whisperで音声を単語レベルのタイムスタンプ付きで文字起こしし、PySceneDetectでシーン境界を認識し、GeminiまたはOpenAI互換のローカルモデルが文字起こしテキストをスコアリングして、15〜60秒のハイライトを3〜15個選びます。各クリップはインテリジェントに再フレーミングされます。二人の会話では上下に重ね、一人の場合は顔追跡でクロップし、字幕は画面のつなぎ目に焼き込みます。全プロセスはDocker Composeでオーケストレーションされ、セルフホストは完全に無料でウォーターマークもありません。
コア依存関係と環境
始める前に、マシンが以下の要件を満たしていることを確認してください。
- DockerとDocker Compose:デプロイの唯一の依存関係。ホストにPythonやNodeをインストールする必要はありません。
- メモリ:8GB以上。モデル推論と動画エンコードの両方でメモリを消費します。
- ストレージ:動画ファイル自体に加え、文字起こしとレンダリングの中間生成物を考慮して、少なくとも20GBを推奨します。
- ネットワーク:Dockerイメージとモデル(HuggingFace、Ultralytics)を取得できること。
- CPUがデフォルトの経路、NVIDIA GPUはオプションで高速化可能(後述)。
AIサービスの役割分担について事前に明確にしておきます。
| サービス | 用途 | 必要時期 |
|---|---|---|
| GeminiまたはOpenAI互換LLM | テキストからのハイライト選択、スクリプト生成、タイトル | 少なくとも1つ選択 |
| Gemini(ビジョン) | 自動レイアウト選択、画面内コンテンツ認識、無音動画 | オプション |
| fal.ai | AI俳優生成、デジタル人間動画、リップシンク | AIショート機能のみ |
| ElevenLabs | ナレーション、多言語クローン | オプション |
| Upload-Post | マルチプラットフォーム自動公開 | オプション |
メイン機能には、v1/chat/completionsを呼び出せるテキストモデルが1つあれば十分で、Geminiビジョン、fal.ai、ElevenLabsはコアのクリップ処理フローに影響しません。
プロジェクト構造ツリー
openshorts/
├── app.py # FastAPIバックエンドエントリ
├── main.py # コアパイプライン:文字起こし、ハイライト検出、クリップ処理
├── llm_backend.py # OpenAI互換LLMアダプターレイヤー(コアファイル)
├── gemini_worker.py # Gemini呼び出しとJSON解析
├── layout_picker.py # 自動レイアウト選択
├── s3_uploader.py # S3ストレージ(オプション)
├── render-service/ # Remotionレンダリングサービス
│ └── Dockerfile
├── dashboard/ # Reactフロントエンド(Vite + Tailwind)
│ ├── src/
│ └── package.json
├── docker-compose.yml # 3サービスオーケストレーション
├── .env.example # 環境変数テンプレート
└── Dockerfile # CPU/GPUマルチステージビルド
3つのコアサービス:backend(FastAPI、ポート8000)、frontend(Vite開発サーバー、5175にマッピング)、renderer(Remotionレンダリング、ポート3100)。
ステップバイステップのデプロイ手順
1. リポジトリのクローン
git clone https://github.com/mutonby/openshorts.git
cd openshorts
2. AIサービスの設定
まず環境変数テンプレートをコピーします。
cp .env.example .env
.envを開き、LLM_BASE_URL関連の設定を見つけます。ここがテキストのハイライト選択サービスを接続する場所です。OpenShortsのllm_backend.pyはLLM_BASE_URLに/chat/completionsパスを追加し、OpenAIのプロトコル形式に完全準拠します。GoogleのGeminiを使いたくない場合は、テキスト選択部分を任意の互換LLMサービスに向けることができます。
コスト削減のアイデアがあります。Defapiプラットフォームの価格は公式チャネルの半分で、公式サイトは Defapi です。そのすべてのモデルは基本的にv1/chat/completions、v1/messages、v1beta/models/プロトコルと互換性があるため、OpenShortsは直接接続できます。設定方法は以下の通りです。
LLM_BASE_URL=https://api.defapi.org/v1
LLM_MODEL=your-model-id # Defapiで使用する実際のモデルIDに置き換え
LLM_API_KEY=your_defapi_key
このエントリはテキストの文字起こしのハイライトスコアリングと詳細な選択のみを担当し、Geminiのビジョン機能(自動レイアウト、無音動画認識)を代替するものではなく、fal.aiの動画生成やElevenLabsの音声も含みません。メインのクリップ処理フローはAI俳優、ソーシャル公開、クラウドAutopilotに依存しません。これらは追加機能です。Defapiのすべてのモデルは基本的にv1/chat/completions、v1/messages、v1beta/models/プロトコルと互換性があるため、切り替えに追加の適応コストはありません。
設定後、/api/configエンドポイントはlocalLlm情報を返し、フロントエンド右上でGeminiキーが強制されなくなります。注意点:LLM_PROVIDER=geminiも設定している場合、Gemini経路が強制されるため、その行をコメントアウトまたは削除してください。
3. サービスの起動
docker compose up --build
初回ビルドではPython 3.11、Node 22、Denoなどのベースイメージの取得に加え、Python依存関係とフロントエンドのnpmパッケージのインストールが必要で、ネットワーク速度に依存します。ビルドが完了すると、バックエンド、フロントエンド、レンダリングサービスが順次起動します。
4. 動画をアップロードしてハイライトを生成
ブラウザで http://localhost:5175 にアクセスし、Dashboardに入ります。まずSettingsにAPIキーを入力します(ローカルLLMを設定している場合、Geminiキーは空のままで構いません)。次に:
- Clip Generator をクリック
- 音声付き動画をアップロードするか、YouTubeリンクを貼り付け
- 文字起こしと選択が完了するのを待ちます(8分の動画はCPUで約5〜8分かかります)
完了すると、各ハイライトクリップが画面に表示され、バイラルスコア、プラットフォーム向けタイトル提案、編集可能なクリップトラックが表示されます。
5. 字幕とレイアウトの編集
各クリップには完全なクリップエディターが組み込まれています。左側にソースモニター、右側にプログラムモニター、下部に全文文字起こしがあります。任意の単語をクリックしてカットポイントを設定し、追加クリップを追加し、レイアウトモード(一人追跡、二人上下分割、縦型ぼかし背景、画面録画)を切り替えることができます。変更後は再レンダリングをクリックするだけで、数秒で出力されます。
6. 完成品のエクスポート
確認して満足したら、エクスポートをクリックします。レンダリングサービスはFFmpegを呼び出し、字幕、フックテキスト、アスペクト比変換を最終ファイルに焼き込み、./outputディレクトリに出力します。エクスポートされたものは、TikTok、YouTube Shorts、またはInstagram Reelsに直接投稿できる9:16縦型動画です。
一般的な問題のトラブルシューティング
イメージビルド失敗またはモデルダウンロードタイムアウト
国内ネットワーク環境では、HuggingFaceモデル(whisper、YOLO)やDockerイメージの取得が頻繁に中断します。ミラーアクセラレータを設定し、Dockerデーモンにプロキシを設定してください。モデルのダウンロードが失敗した場合は、コンテナボリュームを削除して再試行します。
docker compose down -v
docker compose up --build
LLM_BASE_URLを設定してもGeminiキーが要求される
.envにLLM_PROVIDER=geminiがあるか確認し、あれば削除します。また、LLM_BASE_URLの末尾に余分なスラッシュを付けないでください。llm_backend.pyがパスを自動的に連結します。
ローカルモデルが有効なJSONを返さない
OpenShortsは3つのresponse_format戦略を順番に試します:json_schema → json_object → フォーマットなし。7B以上のモデルは安定して返すことが多いですが、3Bモデルは失敗しやすいです。JSON解析エラーが頻発する場合は、より大きなモデルに切り替えるか、LLM_SCORE_BATCH(デフォルト3)を下げて単一リクエストのコンテキスト量を減らしてください。
Dashboardは開けるがバックエンドAPIが502
3つのサービスには依存関係があり、フロントエンドはバックエンドより速く起動します。バックエンドのログにUvicorn runningが表示されてからページをリフレッシュしてください。持続的に502が発生する場合は、バックエンドコンテナを確認します。
docker logs openshorts-backend
Geminiキーがない場合の機能欠落
ローカルLLMを設定すると、テキスト選択は正常ですが、以下の機能は低下します:自動レイアウト選択は顔追跡クロップのみに戻り、無音動画はエラーになり、画面内コンテンツ認識はオフになります。これらの機能が必要な場合は、SettingsにGeminiキーを入力してください。2つの経路は共存できます。テキストはローカルモデル、ビジョンはGeminiです。
メモリまたはディスク不足
文字起こしとレンダリングは両方とも大量のリソースを消費します。8GBメモリは最低限、16GBがより安全です。ディスクについて、whisperモデルは約3GB、YOLOモデルは約6MB、動画ファイルと中間生成物を加えると、8分の動画の全プロセスで約10GBの一時領域が必要です。処理後はoutputディレクトリを忘れずにクリーンアップしてください。
追加の読み物と発展的方向性
GPU高速化:デフォルトのCPUイメージでは8分の動画を5〜8分で処理しますが、NVIDIA GPU(NVENC対応の任意モデル)があれば1分に短縮できます。READMEのdocker-compose.override.yml設定を参照し、GPU: "1"ビルド引数を有効にし、WHISPER_DEVICE=cudaとFFMPEG_ENCODER=autoを設定します。
APIとMCP統合:OpenShortsは完全なREST APIとMCPサーバーを提供し、ClaudeやChatGPTを使って自然言語で直接操作できます:「このポッドキャストをTikTok用に3本に切って」。セルフホスト時はキー不要で、サービス起動後すぐに使用できます。
Googleキーなしの完全ローカル実行:READMEに詳細なローカルLLM設定ガイドがあります。テキスト選択に加え、Ollamaなどのツールを設定してパイプライン全体をオフラインにできます。OllamaはOLLAMA_CONTEXT_LENGTH=16384を設定する必要があります。デフォルトの4096コンテキストではサイレントに切り詰められ、JSONが不完全になる可能性があります。
ライセンスに関する注意事項:コアアプリケーションはMITライセンスで、完全に自由です。ただし、cloud/ディレクトリ内のコード(請求、ホスティング基盤)はOpenShorts Commercial Licenseを使用しており、個人または内部使用は可能ですが、第三者への有料ホスティングサービスとして提供することはできません。セルフホストのコア機能にはこのディレクトリは不要です。クラウド版(openshorts.app)とセルフホストの機能差は主にAutopilot(新着動画の自動クリップ)と自動公開(プラットフォームワンクリック接続)で、これらはセルフホストではUpload-Postを自分で設定して実現する必要があります。