1.FFmpeg源码分析: AVStream码流
2.Mac平台下的源码FFmpeg的安装编译
3.踩坑ffmpeg录制的mp4无法在浏览器上播放
4.FFmpeg开发笔记（十二）Linux环境给FFmpeg集成libopus和libvpx
5.Windows下编译FFmpeg

FFmpeg源码分析: AVStream码流

       在AVCodecContext结构体中，AVStream数组存储着所有视频、源码音频和字幕流的源码信息。每个码流包含时间基、源码时长、源码索引数组、源码php源码的图用什么改编解码器参数、源码dts和元数据。源码索引数组用于保存帧数据包的源码offset、size、源码timestamp和flag，源码方便进行seek定位。源码

       让我们通过ffprobe查看mp4文件的源码码流信息。该文件包含5个码流，源码是源码双音轨双字幕文件。第一个是video，编码为h，帧率为.fps，分辨率为x，像素格式为yuvp。第二个和第三个都是audio，编码为aac，采样率为，立体声，语言分别为印地语和英语。第四个和第五个都是netty 项目源码subtitle，语言为英语，编码器为mov_text和mov_text。

       调试实时数据显示，stream数组包含以下信息：codec_type（媒体类型）、codec_id、bit_rate、profile、level、width、height、sample_rate、channels等编解码器参数。

       我们关注AVCodecContext的编解码器参数，例如codec_type、codec_id、bit_rate、profile、level、width、height、sample_rate和channels。具体参数如下：codec_type - 视频/音频/字幕；codec_id - 编码器ID；bit_rate - 位率；profile - 编码器配置文件；level - 编码器级别；width - 宽度；height - 高度；sample_rate - 采样率；channels - 音道数。

       AVStream内部的nb_index_entries（索引数组长度）和index_entries（索引数组）记录着offset、size、timestamp、apachedoris源码剖析flags和min_distance信息。在seek操作中，通过二分查找timestamp数组来定位指定时间戳对应的帧。seek模式有previous、next、nearest，通常使用previous模式向前查找。

       时间基time_base在ffmpeg中用于计算时间戳。在rational.h中，AVRational结构体定义为一个有理数，用于时间计算。要将时间戳转换为真实时间，只需将num分子除以den分母。

Mac平台下的FFmpeg的安装编译

       在Mac平台上安装FFmpeg有三种途径：静态库下载、Homebrew安装和源码编译。每种方法各有优劣，适合不同的需求和学习目的。

       1. 静态库下载安装

       从FFmpeg官网下载可执行文件，简单快捷但不利于深入学习。解压后，在终端运行即可，可设置环境变量方便全局使用。

       2. Homebrew安装

       通过Homebrew安装较为简便，但不推荐。首先确保安装了必要的源码执行映像工具如CLT，然后通过brew uninstall卸载旧版本，执行相应指令安装。注意Homebrew 2.0后可能需要第三方仓库来关联编解码器选项。

       3. 源码编译安装

       从官网下载源码，编译过程可能遇到依赖问题，但能深入研究FFmpeg。配置编译路径，然后执行编译安装，最后添加环境变量以使FFmpeg可用。

       4. iOS平台库编译

       为了iOS开发，需要针对平台编译库文件。从指定地址下载编译脚本，对libfdk-aac和libx进行编译，完成后在工程中配置头文件和库文件路径。

踩坑ffmpeg录制的mp4无法在浏览器上播放

       在游戏引擎集成ffmpeg源码用于录制游戏视频时，遇到了一个令人困惑的问题：录制的mp4格式视频无法在浏览器上播放。初步尝试修改了代码以实现录制mp4格式，结果视频在网页端播放失败。通过一系列的调试，发现关键问题出在格式转换上。将游戏录制的mp4文件转换为h编码后，视频在浏览器上得以正常播放。然而，仅仅转换格式未能解决原始问题。

       为了深入了解问题所在，机器源码审计我们使用了ffprobe工具来获取视频的详细信息，并通过对比原始录制的mp4文件与转换后的h文件，发现原始文件中缺少了必要的codec_tag字段。codec_tag是用于标识编解码器的标签，对于播放器识别正确的解码器至关重要。通过手动设置该字段，问题得到初步解决，但仍有其他未解决之处。

       进一步分析发现，调用avcodec_find_encoder接口时，传入的格式为mpeg4，而非预期的h。解决这一问题后，我们发现pts（呈现时间戳）和dts（到达时间戳）在视频帧数据中缺失，这导致播放时出现卡顿现象。通过手动为pts和dts赋值，播放速度恢复正常。

       在深入研究后，我们了解到在调用avformat_alloc_output_context2接口时，未指定输出格式，从而让ffmpeg自动选择格式。这一改变使得录制的视频包含pts和dts，解决了播放问题。然而，自动选择的格式为mpeg4，而非预期的h。修改接口以指定输出格式后，问题最终得到解决。

       总结而言，录制mp4视频在浏览器播放失败的问题，关键在于ffmpeg处理视频格式、编码器选择以及视频帧数据的pts和dts标签。通过逐步调试和分析，我们不仅解决了当前问题，还加深了对ffmpeg工具的理解。这不仅涉及到编码格式的正确使用，也涉及到了视频播放所需的额外信息（如codec_tag、pts、dts等）的正确处理。在解决技术难题时，深入的调试、代码分析以及利用适当的工具进行辅助，都是至关重要的步骤。

FFmpeg开发笔记（十二）Linux环境给FFmpeg集成libopus和libvpx

       在FFmpeg开发中，为了支持WebM格式的视频，特别是其音频编码的Opus和视频编码的VP8/VP9，需要在Linux环境中集成libopus和libvpx库。以下是具体的操作步骤：

       1. 安装libopus：首先，从ftp.osuosl.org下载libopus源码，如libopus-1.4。解压后，运行`./configure`进行配置，接着执行`make`和`make install`编译并安装。

       2. 安装libvpx：访问github.com/webmproject获取libvpx-1..1源码。解压后，使用`./configure --enable-pic --disable-examples --disable-unit-tests`配置，然后编译并安装，即`make`和`make install`。

       3. 重新编译FFmpeg：由于FFmpeg默认不支持opus和vpx，需要在FFmpeg源码目录下，通过`./configure`命令添加`--enable-libopus --enable-libvpx`选项。接着执行`make clean`清理，`make -j4`编译，最后使用`make install`安装并检查FFmpeg版本以确认成功启用。

       按照以上步骤，你就能在Linux环境中成功集成libopus和libvpx到FFmpeg，从而支持WebM格式的视频编码。《FFmpeg开发实战：从零基础到短视频上线》一书中的详细说明提供了完整的指导。

Windows下编译FFmpeg

       在学习FFmpeg时，Linux(Ubuntu)系统或Mac系统因其优势常常被推荐使用，而非Windows系统。原因在于Windows环境下编译FFmpeg较为繁琐，这增加了学习成本。此外，Windows环境下使用FFmpeg所需的依赖库，如fdk-aac、x等，也需要单独编译，进一步增加了操作难度。然而，对于在Windows系统下使用FFmpeg有需求的同学，本文将提供一套详细的编译和使用方法，旨在帮助大家克服这一难题。

       首先，搭建编译环境是关键步骤。需要准备一台装有Windows系统的电脑，并安装Visual Studio，推荐使用VS或VS社区版，最新版本更推荐使用VS。安装VS后，还需安装MSYS2，这是一款在Windows环境下模拟Linux的软件，FFmpeg的编译工作在其中进行。需要注意的是，在下载MSYS2时可能需要网络代理，且通过百度盘下载的版本可能较旧，建议有条件的同学从官网下载。

       下载并准备FFmpeg源码是下一步。通过MSYS2安装目录下的msys2_shell.cmd文件，通过注释打开以让MSYS2继承Windows控制台环境变量。找到x Native Tools Command Prompt for VS 命令窗口，进入后执行命令安装编译工具。在MSYS2命令窗口中，通过命令进入FFmpeg源码目录并生成Makefile文件，定义编译工具链、编译库位置、编译类型及不生成特定程序。执行Makefile文件生成的编译命令，即可完成FFmpeg编译。

       编译完成后，FFmpeg库会被安装到指定目录。在Windows系统中找到该目录的方法是确定MSYS2根目录，通常位于D:\MSYS。编译好的FFmpeg库位于D:\MSYS\usr\local\ffmpeg目录下。

       在Visual Studio项目中引用FFmpeg库，首先创建新项目，添加头文件和库文件路径，确保VS能正确编译代码。引入头文件时需注意使用extern "C"关键字，并确保将库正确添加到项目中。运行编译好的程序时，若出现找不到动态库的错误，只需将已编译的FFmpeg库复制到执行程序所在目录即可。

       若需编译FFmpeg依赖库如SDL、x等，同样需要在Windows系统下进行编译。以SDL为例，获取源码并使用CMake生成VS工程，编译出适用于Windows的动态库。同样地，x和fdk-aac的编译也遵循类似流程，确保输出目录结构符合FFmpeg的要求。

       最后，设置环境变量PKG_CONFIG_PATH，告知FFmpeg相关库的位置。重新生成Makefile文件并重新编译，将编译好的依赖库拷贝到FFmpeg的bin目录下，即可执行ffmpeg.exe或ffplay.exe命令。

       综上，本文详细介绍了在Windows系统下编译和使用FFmpeg的方法。对于Windows环境下编译FFmpeg的难点在于搭建编译环境和处理依赖库的编译问题。通过本文提供的步骤和方法，希望可以帮助大家顺利地在Windows系统下使用FFmpeg，克服学习成本和操作难度，进一步推动学习进程。