Ollama: トークンを支払わずにYouTubeビデオを要約

1つのシェルパイプを使用してOllamaにYouTubeビデオを要約させることができます: HTTP経由でトランスクリプトを取得し、jqでテキストを抽出し、ローカルモデルにフィード。OpenAI請求なし、トランスクリプトフェッチ自体を除いて、マシンを離れるデータなし。ここにパイプ、それを機能させるコンテキストウィンドウ数学、そしてそれが不足する場所があります。

ワンライナー

最初に共有デモキーをつかんでください（または独自のものを持ってきてください―下のそれについての詳細):

API_KEY=$(curl -s https://youtube2text.org/api/demo-key | jq -r .apiKey)

その後:

curl -s "https://youtube2text.org/api/transcribe?url=https://www.youtube.com/watch?v=VIDEO_ID&maxChars=12000" \
  -H "x-api-key: $API_KEY" \
  | jq -r .result.content \
  | ollama run llama3.1 "Summarize this video transcript in five bullet points:"

API は{"result": {"videoId", "title", "pubDate", "content", ...}}を返します。jq -r .result.contentはそれを素のテキストに削除し、Ollamaはパイピングされたstdinをプロンプト引数に追加します。30秒後、YouTubeは独自のマシンからリクエストを見ました―トランスクリプトフェッチはyoutube2text.orgを通じて移動します。独自のマシンからスクレイピングするときにブロックされる部分を処理します。

なぜ maxChars=12000

これは人々が間違った数です。Ollamaはデフォルトで4096トークンコンテキスト付きモデルを実行し、すべてがそれのための競争: プロンプト、トランスクリプト、モデルの出力。4文字あたり約1トークンで、12,000文字のトランスクリプトは約3,000トークンで、概要のための頭上。フルパイプ90分のポッドキャストをAPIのデフォルトキャップ150,000文字で実行し、Ollamaは静かに前から切り詰めます―モデルは最後の10分を要約し、自信を持って残りを無視します。エラーなし、ただ間違った答え。

ハードウェアにRAMを持つこともあれば、両端を一緒に上げます:

OLLAMA_CONTEXT_LENGTH=16384 ollama serve

その後、maxCharsを約50000に バンプしてください。2つの数字をロックステップでスケール、またはあなたは静かな切り詰めに戻ります。

シェル関数にする

yt-summary() {
  curl -s "https://youtube2text.org/api/transcribe?url=$1&maxChars=12000" \
    -H "x-api-key: $API_KEY" \
    | jq -r .result.content \
    | ollama run llama3.1 "Summarize this video transcript in five bullet points:"
}

yt-summary "https://www.youtube.com/watch?v=VIDEO_ID"

あなたが実際に必要なプロンプトをスワップします―「言及されたすべてのツールを抽出」、「アクション項目をリスト」、「ドイツ語に翻訳」。同じパイプ、異なる指示。講義を構造化ノートに変える場合、講演ビデオからの研究ノートに長いワークフローがあります。

プライバシーとコストケース

1つだけマシンを離れます: youtube2text.orgへのトランスクリプトリクエスト。ビデオのコンテンツ、プロンプト、モデルの出力はすべてローカルに留まります。内部トレーニングビデオ、競争相手の研究、またはクラウドLLMに出荷したくないコンテンツを要約する人にとって、これが全体のピッチです。コスト側: LLM推論は永遠に無料です。唯一の測定ピースはトランスクリプトフェッチです。

それが不足する場所

正直な制限: 8Bモデルが1時間のビデオの制限されたスライスを要約するのは何かを見逃します。maxCharsは固定予算から切り詰め、llama3.1が4kコンテキストで深い合成を行っていません―フィットするものの能力のある圧縮を行っています。「このビデオは私の時間の価値があるか」の迅速な分類は優れています。長いコンテンツ全体での研究グレード抽出では、より大きなモデルを実際のコンテキストウィンドウで実行するか、すべてを適切にインデックス化するか―YouTubeチャネルのRAGを参照してください。

また: デモキーは共有され、月5ビデオあたりIPで制限されています。何かにサインアップする前にワンライナーが機能するため、存在しています。タイヤをキック過ぎたら、独自のキーを取得―無料ティアも月5ビデオですが、それはあなたのもので、$5.99は50を購入します。