音声・動画・ストリーミングについて、データフォーマットを起点に調べたことをまとめます。
\n取っ掛かりとして Wikipedia の以下のページから見始めて、気になる用語などを色々調べました。
\n\nまず、音声や動画データを扱う上で登場する、以下の 4 つの用語についてまとめます。
\n音声や動画については、圧縮することをエンコードと言います。
\n\nどのように圧縮しているかの概要は、以下のページが分かりやすかったです。
\n\nエンコードされた状態のデータはそのまま再生できないため、再生するときに行う処理がデコードです。
\nエンコードとデコードが可能な装置やソフトウェア、アルゴリズムをコーデックと言います。
\n\n複数のデータを 1 つのファイルにまとめる際の形式をコンテナフォーマットと言います。
\n例えば、
\nといったファイル形式は、コンテナフォーマットの一種です。
\nこの中に音声・動画・チャプター・字幕などのデータを入れます。
\n\nなお、これらの用語については以下のサイトの解説も分かりやすいです。
\n\nなお、コンテナフォーマットと tar などのアーカイブの違いについては、少し調べても分かりませんでした。
\n次に、音声データについて書いていきます。
\n音声ファイルフォーマットとしてよく耳にするのは、
\nあたりだと思います。
\nWAV は正確には音声データフォーマットではなく、音声データのためのコンテナデータフォーマットです。
\nWAV 自体は非圧縮で、内部には任意のデータを持つことができます。
\n保持するデータとしては、圧縮されていない音声データの場合もあれば、MP3 のデータを保存することも可能です。
\nWAF は圧縮されていない、MP3 は圧縮されている、という説明がされる場合もあるようです。
\n参考
\nMP3 は、音声データを圧縮したファイルフォーマットです。
\nちなみに、Wikipedia によると MP3 と MP4 は直接関連がないそうです。
\n\n\nMP3 と MP4 の名称が類似していることから MP4 が同類の Audio Layer-4 と誤解されるケースが見受けられるが、MP4 はあくまで MPEG-4 の関連規格であり、直接の関連性はない規格である。
\n
参考: MP3 - Wikipedia
\n音声データの処理で登場する、フーリエ変換などについて少し触れておきます。
\n音声データは様々な周波数から成り立っているため、フーリエ変換で分解して扱うのが定番です。
\n参考
\n\nフーリエ変換をコンピュータで実行するにはそのためのアルゴリズムが必要です。
\nコンピュータで高速に (離散) フーリエ変換を実行するためのアルゴリズムが、「高速フーリエ変換」です。
\n音声データをフーリエ変換を利用して可視化したものがスペクトログラムです。
\n\n音声を人間の聴覚に基づいて変換する際の尺度として、メル尺度というものがあるそうです。
\n参考: メル尺度 - Wikipedia
\n続いて、動画ファイルフォーマットについてです。
\nよく登場する
\nについて書いていきます。
\nMP4 自体は動画のフォーマットではなく、コンテナフォーマットです。
\n内部に動画・音声・静止画・テキストを保存できます。
\n参考: MP4 - Wikipedia
\nMOV は、Mac OS を中心に使われている QuickTime のコンテナフォーマットです。
\nMP4 や MOV の中で保持される動画は、H.264/MPEG-4 AVC などの形式になります。
\nH.264 (または MPEG-4 AVC) は、動画圧縮規格 1 つです。
\n\n最後に、音声や動画のストリーミングについてです。
\n\nストリーミングに使われるプロトコル・API として、
\nについて書いていきます。
\nApple による HTTP ベースのストリーミング・プロトコルです。
\n.m3u8 とい拡張子のファイルと、.ts という拡張子のファイルで実現されます。
\n仕組みについては、以下のページが分かりやすいです。
\n\nHLS 以外にも、HTTP ベースのストリーミングプロトコルとして MPEG-DASH があり、YouTube もこれらを使っていると書いている記事もありました。
\n参考: YouTube はなんでライブ配信が“1 対多”でもスムーズなの？ - PHILE WEB
\nWebRTC は、Web 標準の P2P マルチキャスト配信の API です。
\nプロトコル自体は標準化されていないとのことです。
\nWeb 会議ツールの実装などで使えるプロトコルとしてよく名前が挙がります。
\n(Zoom は WebRTC を使っていないそうです)
\nIFTF で標準化されているストリーミングのプロトコルです。
\n多くのブラウザは直接対応していません。
\nライブ配信などでよく使われる OBS (Open Broadcaster Software) は、RTMP を送出するツールのため、RTMP をサポートするサービスならどれでも利用可能なようです。
\n","fields":{"slug":"/posts/audio-video-streaming-data-basics","tagSlugs":["/tag/media/"],"autoRecommendPosts":["image-file-format-basics","movie-processing-software","language-in-audio-data","media-and-xr-lonely-advent-calendar"]},"frontmatter":{"date":"2021-12-05T04:53:39.990Z","description":"音声・動画・ストリーミングについて、データフォーマットを起点に調べたことをまとめます。","tags":["media"],"title":"音声・動画・ストリーミングのデータの基本","socialImage":null,"recommendPosts":null}}},"pageContext":{"slug":"/posts/audio-video-streaming-data-basics"}},"staticQueryHashes":["251939775","3942705351","401334301"]}