媒体类型 | Zangwei

数字音频

声音文件
- CD: 业界标准
- WAV: 储存
- MID, RMI: 合成音乐
- MP3: 着重压缩
- ra, rm, rmvb, WMA: 网络传输
电脑音乐创作
- 编曲 -> 合成 -> 后期制作
- CakeWalk, Vegas Audio, CoolEdit, Auto Score
- 语音合成引擎 VOCALOID 2
- 打谱软件 Overture
媒体关联
- 文本-语音转换
- 声音可视化
声音信号
- 听觉 20~20000 Hz
- 发出 80~3400 Hz
- 话音信号 300~3000 Hz
- 听阈：声音弱到刚好能听到（频率相关）
- 痛阈（频率相关）

声音类别
- 任意无规则：1/f0 波动
- 严密变化规律：1/f2 波动
- 不规则但给有特别性质的：1/f1 波动
固有频率
- 眼球：60Hz
- 露骨：200Hz
- 整体水平：3-6Hz
- 整体竖置：48Hz
频带
- 全频带：下限 30~60Hz，上限 15KHz~20KHz
- 杜比数码环绕声系统（Dolby Stereo digital, AC-3）：互相独立 6 声道（5.1 声道），全频带的左，右，中，左环绕，右环绕和 120HZ 以下的低音声道
- A3D Surround 技术：创造环绕听者的 5 组音频流声场，使用两个音箱播放
- SRS：使用两个音箱仿 3D 环绕声
数字音频文件大小：Byte = 采样频率 * 采样位数 / 8 * 声道数 * 时间
- 奈奎斯特采样
- speech sampling 8kHz
- CD sampling 44.1kHz
- HDCD sampling 48/96kHz
MIDI 电子乐器数字接口：音乐合成器、乐器、计算机交互音乐信息的标准协议
- 命令集合
- 串行接口 31.23k 波特
- 单个物理通道可以分成 16 个逻辑通道，每个逻辑通道可以指定一种乐器
- 合成器：利用数字信号处理器或者其他芯片产生音乐或声音的装置
- 产生方法
  - FM 合成法：频率调制合成
  - wavetable：乐音样本合成法

视觉知识
- 可见光：380nm - 780nm
- 彩色空间
  - YUV：RGB 加权，考虑到人的视觉系统和 CRT 非线性特性（NTSC 彩色电视制式）
    - Y：明亮度,只有 $Y$ 则是黑白
      
      $Y=0.299R+0.587G+0.114B$
    - UV：色度
      
      $U=0.492(B-Y)$
      
      $V=0.887(R-Y)$
  - YIQ：（PAL 和 SECAM 彩色电视制式）
    - IQ: UV 进行旋转镜像变换
  - YCrCb：（计算机显示器）
- 六基色彩电
- 伽马矫正：非线性 $y=x^\gamma$
  - 摄像机传感器（$\gamma\approx 0.45$）
  - 编码图像文件
  - 解码图像文件
  - 图像帧缓存查找表
  - CRT
- 人眼
  - 300ppi
  - 临界闪烁频率 46 Hz
显示器
- CRT 带宽 = 最大分辨率 * 刷新率 * 1.3(1.5)
- LED, CRT, PDP, LCD
- 手机彩屏：STN, TFT, OLED
- Retina Display: 将一个像素点拆为四个
打印机
- DPI
- PPM
扫描仪
- 光学分辨率，最大分辨率
- 色彩深度和灰度
- CCD(电荷耦合元件)
- CIS(接触式图像传感器)
图像文件
- BMP：windows，无压缩
- TIFF：扫描仪
- GIF, JPEG, PNG：网络传播

	推出机构	传输层协议	客户端	使用领域
RTSP+RTP	IETF	TCP+UDP	VLC, WMP	IPTV
RTMP	Adobe Inc.	TCP	Flash	直播
RTMFP	Adobe Inc.	UDP	Flash	直播
MMS	Microsoft Inc.	TCP/UDP	WMP	直播/点播
HTTP	WWW+IETF	TCP	Flash	点播

	推出机构	流媒体	视频编码	音频编码	使用领域
AVI	Microsoft Inc.	不支持	几乎所有格式	几乎所有格式	BT 下载
MP4	MPEG	支持	MPEG-2,MPEG-4,H.264,H.263	AAC, MPEG-1 Layers 1/2/3, AC-3	互联网视频网站
TS	MPEG	支持	MPEG-1, MPEG-2, MPEG-4, H.264	MPEG-1 Layers 1/2/3, ACC	IPTV, 数字电视
FLV	Adobe Inc	支持	Sorenson, VP6, H.264	MP3, ADPCM, Linear PCM, AAC	互联网视频网站
MKV	CoreCodec Inc.	支持	几乎所有格式	几乎所有格式	互联网视频网站
RMVB	Real Networks Inc.	支持	RealVideo 8,9,10	AAC, Cook Codec, RealAudio Lossless	BT 下载
MOV	Apple

格式	水平（像素）	垂直	建议码率
sub-QCIF	128	98
QCIF	176	144
CIF	352	288
4CIF	704	576
16CIF	1408	1152
1080	1920	16:9	8500kbps
720	1280	16:9	3500kbps
480	704	16:9/4:3	1800kbps
320	640	4:3
HDTV	1000 线
SDTV	500-600 线
DTV	200-300 线