1.踩坑ffmpeg录制的源码mp4无法在浏览器上播放
2.FFmpeg源码分析: AVStream码流
3.MP4的MKV编码
4.如何在html代码中插入MP4格式的视频

踩坑ffmpeg录制的mp4无法在浏览器上播放

       在游戏引擎集成ffmpeg源码用于录制游戏视频时，遇到了一个令人困惑的源码问题：录制的mp4格式视频无法在浏览器上播放。初步尝试修改了代码以实现录制mp4格式，源码结果视频在网页端播放失败。源码通过一系列的源码调试，发现关键问题出在格式转换上。源码迅雷 投屏源码将游戏录制的源码mp4文件转换为h编码后，视频在浏览器上得以正常播放。源码然而，源码仅仅转换格式未能解决原始问题。源码

       为了深入了解问题所在，源码我们使用了ffprobe工具来获取视频的源码详细信息，并通过对比原始录制的源码mp4文件与转换后的h文件，发现原始文件中缺少了必要的源码codec_tag字段。codec_tag是源码cxf webservice源码用于标识编解码器的标签，对于播放器识别正确的解码器至关重要。通过手动设置该字段，问题得到初步解决，但仍有其他未解决之处。

       进一步分析发现，调用avcodec_find_encoder接口时，传入的格式为mpeg4，而非预期的h。解决这一问题后，我们发现pts（呈现时间戳）和dts（到达时间戳）在视频帧数据中缺失，这导致播放时出现卡顿现象。通过手动为pts和dts赋值，播放速度恢复正常。

       在深入研究后，learn opencv 源码我们了解到在调用avformat_alloc_output_context2接口时，未指定输出格式，从而让ffmpeg自动选择格式。这一改变使得录制的视频包含pts和dts，解决了播放问题。然而，自动选择的格式为mpeg4，而非预期的h。修改接口以指定输出格式后，问题最终得到解决。

       总结而言，录制mp4视频在浏览器播放失败的问题，关键在于ffmpeg处理视频格式、编码器选择以及视频帧数据的Tint Browser源码pts和dts标签。通过逐步调试和分析，我们不仅解决了当前问题，还加深了对ffmpeg工具的理解。这不仅涉及到编码格式的正确使用，也涉及到了视频播放所需的额外信息（如codec_tag、pts、dts等）的正确处理。在解决技术难题时，深入的调试、代码分析以及利用适当的工具进行辅助，都是至关重要的步骤。

FFmpeg源码分析: AVStream码流

       在AVCodecContext结构体中，AVStream数组存储着所有视频、音频和字幕流的ui素材源码信息。每个码流包含时间基、时长、索引数组、编解码器参数、dts和元数据。索引数组用于保存帧数据包的offset、size、timestamp和flag，方便进行seek定位。

       让我们通过ffprobe查看mp4文件的码流信息。该文件包含5个码流，是双音轨双字幕文件。第一个是video，编码为h，帧率为.fps，分辨率为x，像素格式为yuvp。第二个和第三个都是audio，编码为aac，采样率为，立体声，语言分别为印地语和英语。第四个和第五个都是subtitle，语言为英语，编码器为mov_text和mov_text。

       调试实时数据显示，stream数组包含以下信息：codec_type（媒体类型）、codec_id、bit_rate、profile、level、width、height、sample_rate、channels等编解码器参数。

       我们关注AVCodecContext的编解码器参数，例如codec_type、codec_id、bit_rate、profile、level、width、height、sample_rate和channels。具体参数如下：codec_type - 视频/音频/字幕；codec_id - 编码器ID；bit_rate - 位率；profile - 编码器配置文件；level - 编码器级别；width - 宽度；height - 高度；sample_rate - 采样率；channels - 音道数。

       AVStream内部的nb_index_entries（索引数组长度）和index_entries（索引数组）记录着offset、size、timestamp、flags和min_distance信息。在seek操作中，通过二分查找timestamp数组来定位指定时间戳对应的帧。seek模式有previous、next、nearest，通常使用previous模式向前查找。

       时间基time_base在ffmpeg中用于计算时间戳。在rational.h中，AVRational结构体定义为一个有理数，用于时间计算。要将时间戳转换为真实时间，只需将num分子除以den分母。

MP4的MKV编码

       è¿™ä¸ªä½ å¯ä»¥å‚考一下百科

        MKV标志mkv不同于DivX、XviD等视频编码格式，也不同于MP3、Ogg等音频编码格式。MKV只是为这些音、视频提供外壳的“组合”和“封装”格式。换句话说就是一种容器格式，常见的 AVl、VOB、MPEG、RM 格式其实也都属于这种类型。但它们要么结构陈旧，要么不够开放，这才促成了MKV这类新型多媒体封装格式的诞生。 Matroska媒体定义了三种类型的文件：MKV是视频文件，它里面可能还包含有音频和字幕；MKA是单一的音频文件，但可能有多条及多种类型的音轨；MKS是字幕文件。这三种文件以MKV最为常见。 MKV最大的特点就是能容纳多种不同类型编码的视频、音频及字幕流，甚至连非常封闭的 RealMedia 及 QuickTime 这类流媒体也被它囊括进去，可以说是对传统媒体格式的一次大颠覆，几乎变成了一个万能的媒体容器。 播放MKV并不需要专用的播放器，任何基于DirectShow的播放器都能播放它，如常见的 Media Player Classic、BSplayer、ZoomPlayer 播放器等，甚至包括Windows Media player，仅需安装相应 Matroska 解码分离器插件即可。推荐下载HappyShow这个解码器集成软件。

       [编辑本段]特点

        Matroska最大的特点就是能容纳多种不同类型编码的视频、音频及字幕流，甚至囊括了RealMedia及QuickTime这类流媒体，可以说是对传统媒体封装格式的一次大颠覆！它现在几乎变成了一个万能的媒体容器，目前它所能封装的视频、音频、字幕类型包括： AVI文件，包括采用DivX、XviD、3ivX、VP6视频编码，及PCM、MP3、AC3等音频编码的AVI RealMedia文件，包括RealVideo和RealAudio QuickTime的MOV及MP4视频 Windows Media文件，包括ASF、WMV格式 MPEG文件，包括MPEG-1/2的M1V、M2V Ogg/OGM 文件，包括Ogg Vorbis、OGM、FLAC文件 Matroska Media文件，包括MKV、MKA、MKS文件 WAV、AC3、DTS、MP2、MP3、AAC/MP4音频 SRT、USF及SSA/ASS文本字幕 SubVob图形字幕，后缀为IDX、SUB BMP图形字幕，以一组BMP图片及时间码构成的字幕 。 此外，Matroska文件中还可包括章节、标签（Tag）等信息，甚至还可加上附件！需要指出的Matroska所谓的封装AVI、RM、MOV等媒体，但它并不是简单将它们不加改变的合并到Matroska中，而是将它们的音视频流进行了重新组织。 Matroska加入AVI所没有的EDC错误检测代码，这意味着即使是没有下载完毕的MKV文件也可以顺利回放，这些对AVI来说完全是不可想象的。虽然Matroska加入了错误检测代码，但由于采用了新的更高效的组织结构，用MKV封装后的电影还是比AVI源文件要小了约1%，这就是说即使加上了多个字幕，MKV文件的体积也不可能比AVI文件大。 Matroska支持可变帧率（VFR，即Variable Frame Rate）的视频编码，这种VFR视频的帧率是不固定的，它可在动态画面中使用较大的帧率，而在静态画面中使用较小的帧率，这样可以有效的减少视频文件的体积，并改善动态画面的质量。它的作用比目前广泛使用的VBR（可变码率）更为明显。 看看目前比较流行的多媒体容器类型，例如AVI，它可以容纳多种类型的视频编码和音频编码，像VP6、DivX、XviD等视频编码和PCM、MP3、AC3等音频编码； VOB则是另一种特点更为鲜明的媒体容器，它可容纳MPEG-2视频流、多个AC3、 DTS、THX、PCM音频流、多个不同语言的图形字幕流。

       [编辑本段]兼容性

        avi的出现已经超过了年，渐渐体现出老态了，除了近年通过VD可以拥有2个音轨，没有其他的改进。 ogm的出现，标志着多音轨格式的出现，可以合成8个以上的音轨，音频上自然也多了ogg这个格式，重要的是可以“内挂”字幕，老外称为“软字幕”，可以任意开关，可以“内挂”8个以上的字幕，美中不足的是仅仅支持srt格式，并且不支持Unicode，对亚洲字符支持严重不足。 还有一个就是Chapter功能，可以自定义段落，播放时就可以选择了。是不是越来越像DVD啦？但是当时的ogm源码是不公开的，就那么几个人在开发，自然进度慢了，前一阵几乎陷入了“死亡”。最近宣布公开源码，加入Open Source行列，重新开始开发。 mkv就是在ogm停滞的那段时间出现的，由俄罗斯的程序员开发的，从一开始就是Open Source，因此得到了很多其他程序员的帮助，开发速度相当快。 ogm有的mkv都有，另外还有很多独特的功能。其中最令人振奋的就是Gabest(开发vobsub的公司)开发的Plugin，不仅开发了专门的播放器Media Player Classic(俗称MPC)， 这个东西的强大相信用过的人都有体会。还开发了很多的MKV用的Mux(合成器)，尤其是Real格式的Mux。 Real的rmvb是封闭格式，官方的Helix根本就不支持多声道所以尽管算法很优秀，但在声效大片的再现上就无能为力了，只能乖乖让位给可以合成AC3和DTS的avi以及ogm了。 但Gabest开发的Realmedia Splitter和mkv Mux可以让rmvb格式的视频和AC3、DTS合成mkv，从根本上克服了rmvb音频上的弱点。不仅如此，还开发了VSFilter.dll和SubtitleSource.ax这2个Plugin，宣布支持ssa和ass的格式软字幕。 总结就是下面几条： 1.支持多种格式的视频和音频，尤其是Real ； 2.支持多音轨，多达条以上 ； 3.支持ssa，ass软字幕，多达条以上 ； 4.支持段落选取(由制作人决定) 。

       [编辑本段]发展前途

        Matroska的目标就是要取代旧式的媒体封装格式，其中最主要的目标就是AVI。 AVI已经诞生十几年了，目前它依然还保持着旺盛的生命力，但其原始架构过于陈旧，这使得它在支持新的音视频编码上非常困难，在非微软平台使用也不够方便。而Matroska使用的是一种开放的架构，拥有众多的先进特性，并且能跨平台使用，这是AVI所望尘莫及的。 不过AVl毕竟树大根深，它拥有最广泛的软硬件支持，而这一点正是衡量MKV是否成功的一个标志，但目前它还做不到这点，现在甚至还没出现一个能直接编辑它的软件，毕竟它诞生还不到一年。但在这么短的时间里，Matroska取得的进展也是非常引人注目的。 但Matroska毕竟还是一种发展中的技术，它没有深厚的背景可以依托，这决定了它不可能在商业领域(如DV、数字电视)里有所作为，同样的道理，它要想取代 AVI成为一种通用的多媒体封装格式并不会十分顺利。不过，DVDRip的普及历程告诉我们，流行才是硬道理!DVD播放机厂商现在不是也已经放下架子，对DVDRip提供支持了么。所以，Matroska目前最需要做的就是让更多的人知道它。 MKV的目标 建立一个现代、灵活、延伸性、多平台的互联网服务器，快速查找文件； 发展一套创作和编辑用的Matroska文件工具，并在GNU通用公共许可证下发布； 开发一个网络图书馆，允许开发者向Matroska申请，将他们自行开发的应用软件加入Matroska音频格式，并在GNU宽通用公共许可证下发布； 与硬件制造商合作，把他们的音频格式嵌入多媒体的设备里； 支授以Matroska在各种各样的操作系统（包括Windows、DirectShow、Linux、Haiku和多媒体处理框架GStreamer）的运作 。 [1]

如何在html代码中插入MP4格式的视频

       代码如下，测试过，可用。

       <body> 

       <div style="text-align:center;">

       <video id="video1" width="" style="margin-top:px;">

       <source src="/example/html5/mov_bbb.mp4" type="video/mp4" />

       <source src="/example/html5/mov_bbb.ogg" type="video/ogg" />

       </video>

       </div> 

       </body>

       HTML5 Audio/Video 方法

       HTML5 <video> 元素同样拥有方法、属性和事件。

       其中的方法用于播放、暂停以及加载等。

       其中的属性（比如时长、音量等）可以被读取或设置。

       其中的 DOM 事件能够通知您，比方说，<video> 元素开始播放、已暂停，已停止，等等。

       参考资料 w3c网页链接