视频编解码器用于DVD播放器、互联网视频、点播视频、数字电缆、数字地面电视、视频电话和各种其他应用。特别是，它们广泛用于记录或传输视频的应用程序中，这对于未压缩视频的高数据量和高带宽可能不可行。例如，它们被用于手术室，安全系统中的IP摄像机以及远程操作的水下航行器和无人驾驶飞行器中记录外科手术。

    视频编解码器试图以数字格式表示基本的模拟数据集。由于模拟视频信号的设计（分别代表亮度和颜色信息），编解码器设计中图像压缩的常见xxx步是将图像表示并存储在YCbCr颜色空间中。转换为YCbCr具有两个好处：首先，它通过提供颜色信号的去相关来提高可压缩性；其次，它将在视觉上重要得多的亮度信号与在色度上不重要的色度信号分离，并且可以使用色度二次采样以较低的分辨率表示以实现更有效的数据压缩。通常用以下方式表示存储在这些不同通道中的信息的比率Y：Cb：Cr。不同的编解码器根据其压缩需求使用不同的色度子采样率。用于Web和DVD的视频压缩方案使用4：2：1的颜色采样模式，而DV标准使用4：1：1的采样率。专业视频编解码器旨在以更高的比特率运行，并以4：2：2和4：4：4的比率记录大量色彩信息，以供后期制作操作样本使用。这些编解码器的示例包括Panasonic的DVCPRO50和DVCPROHD编解码器（4：2：2），Sony的HDCAM-SR（4：4：4），Panasonic的HDD5（4：2：2），AppleProres HQ 422（4：2：2）。
    还值得注意的是，视频编解码器也可以在RGB空间中运行。这些编解码器倾向于不以不同的比率对红色，绿色和蓝色通道进行采样，因为这样做的感知动力较小，只是蓝色通道可能会被采样不足。
    在基本编码过程之前，还可以使用一定数量的空间和时间下采样来降低原始数据速率。最受欢迎的编码转换是8×8 离散余弦转换（DCT）。利用小波变换的编解码器也正在进入市场，特别是在涉及以运动序列处理RAW图像格式的相机工作流程中。该过程涉及将视频图像表示为一组宏块。
    首先对变换的输出进行量化，然后将熵编码应用于量化后的值。当使用DCT时，通常使用Z字形扫描顺序扫描系数，并且熵编码通常将多个连续的零值量化系数与下一个非零量化系数的值组合到单个符号中，还具有特殊的方式来指示何时所有剩余的量化系数值都等于零。熵编码方法通常使用可变长度编码表。一些编码器在称为n-pass的多步过程中压缩视频编码，执行较慢但可能更高质量的压缩。
    解码过程包括在可能的范围内执行编码过程每个阶段的反转。无法完全反转的一个阶段是量化阶段。在那里，执行尽力而为的近似。该过程的这一部分通常称为逆量化或反量化，尽管量化本质上是不可逆的过程。
    视频编解码器设计通常是标准化的，或者最终成为标准化的，即在已发布的文档中精确指定。但是，只有解码过程需要标准化才能实现互操作性。通常不会在标准中完全指定编码过程，并且实现者可以自由地设计他们想要的编码器，只要可以以指定的方式对视频进行解码即可。因此，通过对使用相同视频编解码器标准的不同编码器的结果进行解码而产生的视频质量可能会因编码器的一种实现方式而异。

    各种视频压缩格式可以在PC和消费电子设备中实现。因此，在同一产品中可能有多个编解码器可用，从而减少了选择单一主流视频压缩格式以实现互操作性的需求。
    来自多个来源的多种编码器和解码器实现可以支持标准视频压缩格式。例如，可以使用任何其他标准MPEG-4 Part 2编解码器（例如FFmpeg MPEG-4或DivX Pro编解码器）对使用标准MPEG-4 Part 2编解码器（例如Xvid）编码的视频进行解码，因为它们都使用相同的视频格式。
    编解码器具有其特质和缺点。比较经常发布。压缩功率、速度和保真度（包括伪影）之间的折衷通常被认为是最重要的技术价值指标。

    在线视频资料由各种编解码器进行编码，这导致了编解码器包的可用性-预先编译好的一组常用编解码器集以及与安装程序结合在一起的安装程序，可作为PC软件包使用，例如K-Lite编解码器包。Perian和组合社区编解码器包。