音视频基础
yuhuo2021-06-28技术知识技术知识
音频
采样
某一时刻的声音可以由物理信息转化为数字信息表示，即为一个量化值。
采样指从时间-量化值组成的连续信号中取某一个时间点的量化值。
采样大小
采样大小表示一个量化值的存储范围。
采样率
采样率表示每秒采样的个数，单位：Hz（赫兹）。
声道数
单声道，双声道（左声道 + 右声道）。
编码格式
音频原始数据尺寸非常大，不利于传输和存储，因此需要编码压缩成音频码流。
尺寸计算
音频原始数据尺寸 = 采样大小 * 采样率 * 声道数 * 时长
常见无损格式：
- WAV 主流
- APE
- FLAC
常见有损格式：
- MP3 主流
- AAC 主流
- WMA
- Opus
视频
分辨率
图片是由像素组成，分辨率表示像素的数量，一般由 “ 宽像素数 * 高像素数 ” 表示。
名称中 P 代表行数，即高像素数。K 代表纵数，即宽像素数。
视频/电视剧
| 规格 | 比例 | 分辨率 |
|---|---|---|
| 4K（超高清 UHD） | 16 : 9 | 3840 × 2160 |
| 2K（四倍高清 QHD） | 16 : 9 | 2560 × 1440 |
| 1080P（全高清 FHD） | 16 : 9 | 1920 × 1080 |
| 720P（高清 HD） | 16 : 9 | 1280 × 720 |
| 540P（半高清 qHD） | 16 : 9 | 960 × 540 |
| 480P（标清 SD） | 16 : 9 | 854 × 480 |
| 360P（流畅） | 16 : 9 | 640 × 360 |
电影
| 规格 | 比例 | 分辨率 |
|---|---|---|
| 4k（宽银幕） | 21.5 : 9 | 4096 × 1716 |
| 4k（遮幅） | 16.6 : 9 | 3996 × 2160 |
| 2k（放映容器） | 256 : 135 | 4096 × 2160 |
| 2k（宽银幕） | 21.5 : 9 | 2048 × 858 |
| 2k（遮幅） | 16.6 : 9 | 1998 × 1080 |
| 2k（放映容器） | 256 : 135 | 2048 × 1080 |
电脑显示器屏幕
| 规格 | 比例 | 分辨率 |
|---|---|---|
| 2K | 16 : 9 | 2560 × 1440 |
| 1080P | 16 : 9 | 1920 × 1080 |
笔记本屏幕
| 规格 | 比例 | 分辨率 |
|---|---|---|
| 4K（17.3寸） | 16 : 9 | 3840 × 2160 |
| 2K（15.6寸） | 16 : 9 | 2560 × 1440 |
| 1080P（14寸） | 16 : 9 | 1920 × 1080 |
| 3.5k（16寸） | 16 : 10 | 3456 × 2160 |
| 3.2K（16寸） | 16 : 10 | 3200 × 2000 |
| 2.5k（14寸） | 16 : 10 | 2560 × 1600 |
| 2.2k（14寸） | 16 : 10 | 2240 × 1400 |
| 3.1k（15.3寸） | 3 : 2 | 3120 × 2080 |
| 3k（14.4寸） | 3 : 2 | 3000 × 2000 |
| 2.8k（14.2寸） | 3 : 2 | 2880 × 1800 |
| 2.2k（13.5寸） | 3 : 2 | 2256 × 1504 |
电视屏幕
尺寸：32寸、43寸、50寸、55寸、65寸、75寸、85寸、98寸、100寸
| 规格 | 比例 | 分辨率 |
|---|---|---|
| 4k（43寸以上 ） | 16 : 9 | 3840 × 2160 |
| 1080P（32寸） | 16 : 9 | 1920 × 1080 |
手机屏幕
| 规格 | 比例 | 物理分辨率 | 逻辑分辨率 | 设备像素比 DPR |
|---|---|---|---|---|
| iphone 8 Plus | 16 : 9 | 1920 × 1080 | 736 × 414 | 2.6 |
| iphone 12 Pro | 19.5 : 9 | 2532 × 1170 | 844 × 390 | 3 |
| 小米K80 | 20 : 9 | 3200 × 1440 | 854 × 384 | 3.75 |
帧率
视频是由连续播放的图片组成，一张图片又称一帧。
帧率表示每秒播放的帧数，单位：fps（frame per second）。
当帧率为 24 fps 以上时，大脑会认为这是流畅播放的视频。一般电影的帧率约为每秒 24 帧，游戏则需要更高。
码率
码率又称比特率，表示每秒的比特数，单位：bps（bit per second），1 kbps = 1024 bps。
存储单位
- 1 bit = 1位二进制（比特）
- 1 Byte = 8 bit（字节）
- 1 KB = 1024 Byte
- 1 MB = 1024 KB
- 1 GB = 1024 MB
- 1 TB = 1024 GB
编码格式
视频原始数据尺寸非常大，不利于传输和存储，因此需要编码压缩成视频码流。
尺寸计算
假设时长1分钟的视频，帧率 24 fps，分辨率 1920*1080，每个像素由RGB构成，共24位：
视频原始数据尺寸 = 60秒 * 24帧 * 1920 *1080 * 24 = 71663616000 bit = 8.34 G
常见格式：
- H.264 主流
- H.265
- MPEG-2
- MPEG-4 主流
- VP8
- VP9
- VC-1
- AV1
- AVS
封装格式
把视频码流、音频码流打包到一起，然后再添加一些基本信息，例如分辨率、时长、标题等，构成一个文件，这个文件称为封装格式。
常见格式：
| 名称 | 推出机构 | 流媒体（边下边播） | 支持的视频编码 | 支持的音频编码 | 目前使用领域 |
|---|---|---|---|---|---|
| MP4 主流 | MPEG | 支持 | MPEG-2，MPEG-44，H.264等 | AAC，MPEG-1等 | 互联网视频网站 |
| TS | MPEG | 支持 | MPEG-4，H.264等 | MPEG-1 Layers I, II, III, AAC, | IPTV，数字电视 |
| FLV | Adobe | 支持 | Sorenson，VP6，H.264 | MP3，ADPCM，Linear PCM，AAC等 | 互联网视频网站 |
| MKV 主流 | CoreCodec | 支持 | 几乎所有格式 | 几乎所有格式 | 互联网视频网站 |
| AVI 主流 | Microsoft | 不支持 | 几乎所有格式 | 几乎所有格式 | BT下载影视 |
| MOV | Apple | ||||
| RMVB | Real Networks | 支持 | RealVideo 8, 9, 10 |
视频播放流程
