一、FFmpeg库简介
FFmpeg是一个免费开源的音视频处理工具库，可以实现音视频格式转换、编解码、流媒体处理等功能。它由多个开源组件组成，包括libavcodec（音视频编解码器）、libavformat（封装格式处理库）、libavfilter（音视频滤镜库）等等。因为其可移植性好、功能强大和代码简单易于维护等优势，FFmpeg被广泛应用于流媒体、多媒体播放器、视频编辑软件、视频会议、直播等领域。
FFmpeg支持的视频格式包括MPEG4、AVI、WMV、FLV、H.264等等，支持的音频格式包括MP3、WMA、AAC、AMR等等。除此之外，FFmpeg还可以通过FFserver搭建流媒体服务器，支持RTSP、RTMP等传输协议。FFmpeg也提供了一些命令行工具，如ffmpeg、ffplay等，用于快速对音视频文件进行转换和播放。
FFmpeg的使用虽然相对复杂，但是相应的API文档和丰富的社区支持，加上其强大的功能，使得它成为众多开发者和视频爱好者的首选工具之一。
二、FFmpeg库使用场景
FFmpeg被广泛应用于流媒体、多媒体播放器、视频编辑软件、视频会议、直播等领域。它可以用来：
- 媒体播放器：使用FFmpeg库可以实现多种音视频格式的解码、播放和控制，同时支持快进、暂停、截图等操作。
- 视频编辑软件：通过FFmpeg库提供的音视频处理功能，可以实现视频的剪辑、合并、调整画面、添加字幕等操作，是开发视频编辑软件必备的组件之一。
- 流媒体服务：使用FFmpeg库可以实现自定义录制或直播系统，通过支持多种传输协议（如RTSP、RTMP等），可以将音视频流推送到互联网上进行实时的直播和传播。
- 视频转换和处理：使用FFmpeg库可以对音视频文件进行格式转换、提取音视频流、添加水印等操作，适用于各种音视频处理的场景。
三、FFmpeg库的架构设计
FFmpeg库采用模块化设计，整体架构分为以下几个模块：
- libavcodec：音视频编解码器模块，提供音视频格式的编解码功能。包括H.264、HEVC、AAC、MP3等常见的音视频格式。
- libavformat：封装格式处理模块，用于读取和写入多种音视频封装格式，如AVI、MP4、FLV、MKV等。
- libavfilter：音视频滤镜模块，提供各种滤镜和特效，可以用于图像的处理、色彩调节、混合等操作。
- libswscale：图像色彩空间转换模块，主要用于视频的缩放、转换和处理等操作。
- libavutil：通用工具函数库，提供各种工具函数和数据结构，用于支撑其他模块的功能实现。
在FFmpeg库中，每个模块都是相对独立的，可以单独使用也可以互相配合使用，使得各个模块之间的调用和扩展更加容易。例如，我们可以通过libavcodec模块进行音视频的编解码，再通过libavformat模块进行封装格式的处理，最终通过libswscale模块进行视频的缩放和转换，并输出到目标文件中。
四、FFmpeg库的优点和缺点
优点：
- 开源免费，跨平台支持Windows、Linux、Mac OS等操作系统。
- 功能强大，支持多种音视频格式的编解码、转换和处理。
- 可定制性高，可以根据需求进行二次开发或定制。
- 社区活跃，有大量的文档和教程，易于学习。
缺点：
- 学习曲线较陡峭，需要一定的编程经验和基础。
- 文档和教程比较分散，需要耐心搜索和阅读。
- 在特定场景下可能出现性能瓶颈，需要针对性的优化。
五、FFmpeg解码流程
简单来说，它的流程大致分为以下几步：
- 读取媒体文件，判断是否支持该格式，并打开媒体文件。
- 获取音视频流，判断是否为音频流或视频流，然后进行解码操作。
- 判断能否播放该帧数据，如果能，则进行播放操作；否则跳过该帧数据。
- 播放完毕后，释放帧数据占用的资源并读取下一帧数据，直到文件读取完毕。
- 关闭媒体文件。
六、FFmpegAPI分类
FFmpeg API提供了大量的音视频处理函数和接口，主要包括以下几个方面：
- AVFormat API：这个API主要用于处理多媒体格式，包括多媒体文件的封装、解封装、Mux和Demux等操作。例如，可以使用该API读取音视频文件，获取里面的音视频流等。
- AVCodec API：这个API提供音视频编解码器的实现，支持众多的音视频格式的编解码操作。例如，可以使用该API对MP4、FLV等格式进行音视频解码操作。
- AVFilter API：这个API提供了音视频滤镜功能，包括各种滤镜和特效，可以用于图像的处理、色彩调节、混合等操作。例如，可以使用该API完成视频的旋转、缩放等滤镜操作。
- SwScaler API：这个API提供了图像色彩空间转换功能，主要用于视频的缩放、转换和处理等操作。例如，可以使用该API将RGB格式的图像转换为YUV420P格式。
- AVutil API：这个API提供了各种工具函数和数据结构，支撑其他模块的功能实现，例如内存管理、字符串处理、时间戳计算等操作。
七、使用WPF代码案例介绍FFmpeg库用法
以下是一个基于WPF的简单案例，演示了如何使用FFmpeg库来将一个视频文件转换为另一个格式的视频文件：
using (var videoReader = new VideoFileReader())
{
videoReader.Open(@"C:\Videos\input.mp4");
using (var videoWriter = new VideoFileWriter())
{
var outputFilePath = @"C:\Videos\output.avi";
var codec = "msmpeg4v3";
videoWriter.Open(outputFilePath, videoReader.Width, videoReader.Height, videoReader.FrameRate, VideoCodec.FromFourCC(codec));
var currentFrame = new VideoFrame(videoReader.Width, videoReader.Height);
while (videoReader.ReadVideoFrame(currentFrame))
{
videoWriter.WriteVideoFrame(currentFrame);
}
}
}以下是使用WPF编写一个视频解码的案例代码：
using System;
using System.Windows;
using System.Windows.Controls;
using System.Windows.Media.Imaging;
using System.Threading.Tasks;
using FFmpeg.AutoGen;
namespace VideoDecoderDemo
{
public partial class MainWindow : Window
{
private AVFormatContext* pFormatCtx = null;
private int videoStreamIndex = -1;
private AVCodecContext* pCodecCtx = null;
private AVCodec* pCodec = null;
private AVFrame* pFrame = null;
private AVPacket* pPacket = null;
private AVPixelFormat sourcePixelFormat;
private AVPixelFormat destinationPixelFormat;
private IntPtr imgDataPtr = IntPtr.Zero;
private int imgLineSize = 0;
private Task decodingTask;
private bool isDecoding = false;
public MainWindow()
{
InitializeComponent();
}
private void OpenFileButton_Click(object sender, RoutedEventArgs e)
{
Microsoft.Win32.OpenFileDialog dlg = new Microsoft.Win32.OpenFileDialog();
dlg.DefaultExt = ".mp4";
dlg.Filter = "Video Files (*.mp4;*.avi;*.mkv)|*.mp4;*.avi;*.mkv|All Files (*.*)|*.*";
Nullable result = dlg.ShowDialog();
if (result == true)
{
string filename = dlg.FileName;
OpenVideoFile(filename);
}
}
private void PlayButton_Click(object sender, RoutedEventArgs e)
{
if (!isDecoding)
{
StartDecoding();
PlayButton.Content = "停止播放";
}
else
{
StopDecoding();
PlayButton.Content = "开始播放";
}
}
private unsafe void OpenVideoFile(string filename)
{
// 初始化FFmpeg库
ffmpeg.av_register_all();
// 打开视频文件
int ret = ffmpeg.avformat_open_input(&pFormatCtx, filename, null, null);
if (ret < 0)
{
MessageBox.Show("打开视频文件失败：" + System.Runtime.InteropServices.Marshal.PtrToStringAnsi((IntPtr)ffmpeg.av_err2str(ret)));
return;
}
// 获取视频流信息
ret = ffmpeg.avformat_find_stream_info(pFormatCtx, null);
if (ret < 0)
{
MessageBox.Show("获取视频流信息失败：" + System.Runtime.InteropServices.Marshal.PtrToStringAnsi((IntPtr)ffmpeg.av_err2str(ret)));
return;
}
// 查找视频流索引
for (int i = 0; i < pFormatCtx->nb_streams; i++)
{
if (pFormatCtx->streams[i]->codec->codec_type == AVMediaType.AVMEDIA_TYPE_VIDEO)
{
videoStreamIndex = i;
break;
}
}
if (videoStreamIndex == -1)
{
MessageBox.Show("没有找到视频流");
return;
}
// 获取视频解码器
pCodecCtx = pFormatCtx->streams[videoStreamIndex]->codec;
pCodec = ffmpeg.avcodec_find_decoder(pCodecCtx->codec_id);
if (pCodec == null)
{
MessageBox.Show("找不到视频解码器");
return;
}
// 打开视频解码器
ret = ffmpeg.avcodec_open2(pCodecCtx, pCodec, null);
if (ret < 0)
{
MessageBox.Show("打开视频解码器失败：" + System.Runtime.InteropServices.Marshal.PtrToStringAnsi((IntPtr)ffmpeg.av_err2str(ret)));
return;
}
// 分配解码后数据的结构体
pFrame = ffmpeg.av_frame_alloc();
// 分配解码前数据的结构体
pPacket = ffmpeg.av_packet_alloc();
if (pPacket == null)
{
MessageBox.Show("分配AVPacket结构体失败");
return;
}
// 获取视频像素格式
sourcePixelFormat = pCodecCtx->pix_fmt;
if (sourcePixelFormat == AVPixelFormat.AV_PIX_FMT_NONE)
{
MessageBox.Show("找不到视频像素格式");
return;
}
// 设置要转换后的像素格式
destinationPixelFormat = AVPixelFormat.AV_PIX_FMT_BGR24;
// 计算转换后每行图像数据所占的字节数
int bytesPerLine = ffmpeg.av_image_get_linesize(destinationPixelFormat, pCodecCtx->width, 0);
// 分配转换后的图像数据空间
imgDataPtr = (IntPtr)ffmpeg.av_malloc((ulong)bytesPerLine * pCodecCtx->height);
// 创建Bitmap并显示
BitmapSource bitmapSource = BitmapSource.Create(pCodecCtx->width, pCodecCtx->height, 96, 96, System.Windows.Media.PixelFormats.Bgr24, null, imgDataPtr, bytesPerLine * pCodecCtx->height, bytesPerLine);
VideoImage.Source = bitmapSource;
}
private void StartDecoding()
{
isDecoding = true;
decodingTask = new Task(() =>
{
while (isDecoding && ffmpeg.av_read_frame(pFormatCtx, pPacket) >= 0)
{
if (pPacket->stream_index == videoStreamIndex)
{
int ret = ffmpeg.avcodec_send_packet(pCodecCtx, pPacket);
if (ret < 0)
{
break;
}
while (ffmpeg.avcodec_receive_frame(pCodecCtx, pFrame) == 0)
{
// 创建SwScale上下文
SwsContext* swsctx = ffmpeg.sws_getContext(
pFrame->width,
pFrame->height,
sourcePixelFormat,
pFrame->width,
pFrame->height,
destinationPixelFormat,
ffmpeg.SWS_BICUBIC,
null,
null,
null);
// 执行像素格式转换
ffmpeg.sws_scale(swsctx, pFrame->data, pFrame->linesize, 0, pFrame->height, &imgDataPtr, &imgLineSize);
// 释放SwScale上下文
ffmpeg.sws_freeContext(swsctx);
Dispatcher.Invoke(() =>
{
// 创建Bitmap并显示
BitmapSource bitmapSource = BitmapSource.Create(pCodecCtx->width, pCodecCtx->height, 96, 96, System.Windows.Media.PixelFormats.Bgr24, null, imgDataPtr, imgLineSize * pCodecCtx->height, imgLineSize);
VideoImage.Source = bitmapSource;
});
}
}
// 释放AVPacket的缓冲区
ffmpeg.av_packet_unref(pPacket);
}
StopDecoding();
// 释放内存
if (imgDataPtr != IntPtr.Zero)
{
ffmpeg.av_free(imgDataPtr);
imgDataPtr = IntPtr.Zero;
}
if (pPacket != null)
{
ffmpeg.av_packet_free(&pPacket);
pPacket = null;
}
if (pFrame != null)
{
ffmpeg.av_frame_free(&pFrame);
pFrame = null;
}
if (pCodecCtx != null)
{
ffmpeg.avcodec_close(pCodecCtx);
pCodecCtx = null;
}
if (pFormatCtx != null)
{
ffmpeg.avformat_close_input(&pFormatCtx);
pFormatCtx = null;
}
});
decodingTask.Start();
}
private void StopDecoding()
{
isDecoding = false;
if (decodingTask != null && !decodingTask.IsCompleted)
{
decodingTask.Wait();
}
}
}
} 该代码流程图
该代码使用FFmpeg进行视频解码，并将解码后的图像显示在WPF的Image控件上。其中，OpenFileButton_Click函数用于打开视频文件；PlayButton_Click函数用于开始/停止播放视频；StartDecoding函数和StopDecoding函数用于控制解码的开始和结束。在OpenVideoFile函数中，我们需要先打开视频文件，获取视频流信息，查找视频流索引，获取视频解码器，打开视频解码器，并分配解码前后数据的内存空间。在StartDecoding函数中，我们使用了两个FFmpeg函数：av_read_frame和avcodec_receive_frame来获取解码前和解码后的数据。在这些函数调用中，我们执行了像素格式转换，并将转换后的图像数据显示在Image控件上。最后，在StopDecoding函数中，我们释放所有使用的FFmpeg内存空间，并关闭解码器和视频文件。
六、总结FFmpeg库
FFmpeg是一个功能强大的音视频处理库，它可以实现多种音视频格式的编解码、转换和处理。虽然学习曲线较陡峭，但是其文档和教程较为丰富，易于学习。在一定的场景下，使用FFmpeg可以大幅简化音视频处理的开发难度和工作量。
