皮皮网

1.深入剖析-ijkplayer框架【音视频开发】
2.优秀的播播放 Verilog/FPGA开源项目介绍（十）- H.264和H.265
3.FFmpeg 解码 API 以及在解码过程中存在的丢帧问题
4.ffmpeg实现媒体流解码
5.FFmpeg视频播放器开发解封装解码流程、常用API和结构体简介（一）

深入剖析-ijkplayer框架【音视频开发】

       随着互联网技术的放源迅猛发展，移动设备上的码y码视频播放需求日益增长，催生了一系列开源和闭源播放器。器源这些播放器的播播放功能虽然强大，兼容性也颇优，放源反码是源码取反但其基本模块通常包括事务处理、码y码数据接收和解复用、器源音视频解码以及渲染。播播放以下是放源一个简化的基本框架图。

       在众多播放器项目中，码y码我们选择了ijkplayer进行源码分析。器源ijkplayer是播播放一款基于FFPlay的轻量级Android/iOS视频播放器，支持跨平台，放源API易于集成，码y码编译配置可裁剪，方便控制安装包大小。本文基于ijkplayer的k0.7.6版本，重点分析其C语言实现的核心代码，以iOS平台为例，Android平台实现类似，具体请读者自行研究。

       ijkplayer的主要目录结构如下：tool（初始化项目工程脚本）、config（编译ffmpeg使用的配置文件）、extra（存放编译ijkplayer所需的依赖源文件，如ffmpeg、openssl等）、ijkmedia（核心代码）、ijkplayer（播放器数据下载及解码相关）、ijksdl（音视频数据渲染相关）、ios（iOS平台上的翡翠数字藏品源码上层接口封装以及平台相关方法）、android（android平台上的上层接口封装以及平台相关方法）。iOS和Android平台在功能实现上的主要差异在于视频硬件解码和音视频渲染。

       ijkplayer的初始化流程包括创建播放器对象，打开ijkplayer/ios/IJKMediaDemo/IJKMediaDemo.xcodeproj工程，在IJKMoviePlayerViewController类中viewDidLoad方法中创建了IJKFFMoviePlayerController对象，即iOS平台上的播放器对象。

       ijkplayer的初始化方法具体实现如下：创建了IjkMediaPlayer结构体实例_mediaPlayer，主要完成了以下三个动作：创建平台相关的IJKFF_Pipeline对象，包括视频解码以及音频输出部分；至此，ijkplayer播放器初始化的相关流程已经完成。

       ijkplayer实际上是基于ffplay.c实现的，本章节将以该文件为主线，从数据接收、音视频解码、音视频渲染及同步这三大方面进行讲解，要求读者具备基本的ffmpeg知识。

       当外部调用prepareToPlay启动播放后，ijkplayer内部最终会调用到ffplay.c中的stream_open方法，该方法是启动播放器的入口函数，在此会设置player选项，打开audio output，最重要的是调用stream_open方法。

       从代码中可以看出，stream_open主要做了以下几件事情：创建上下文结构体，设置中断函数，打开文件，探测媒体类型，打开视频、音频解码器，读取媒体数据，网页源码监控代码将音视频数据分别送入相应的queue中，重复读取和送入数据步骤。

       ijkplayer在视频解码上支持软解和硬解两种方式，可在播放前配置优先使用的解码方式，播放过程中不可切换。iOS平台上硬解使用VideoToolbox，Android平台上使用MediaCodec。ijkplayer中的音频解码只支持软解，暂不支持硬解。

       ijkplayer中Android平台使用OpenSL ES或AudioTrack输出音频，iOS平台使用AudioQueue输出音频。audio output节点在ffp_prepare_async_l方法中被创建。

       iOS平台上采用OpenGL渲染解码后的YUV图像，渲染线程为video_refresh_thread，最后渲染图像的方法为video_image_display2。

       对于播放器来说，音视频同步是一个关键点，同时也是一个难点。通常音视频同步的解决方案就是选择一个参考时钟，播放时读取音视频帧上的时间戳，同时参考当前时钟参考时钟上的时间来安排播放。

       ijkplayer支持的事件比较多，具体定义在ijkplayer/ijkmedia/ijkplayer/ff_ffmsg.h中。在播放器底层上报事件时，实际上就是将待发送的消息放入消息队列，另外有一个线程会不断从队列中取出消息，上报给外部。

       本文只是粗略的分析了ijkplayer的关键代码部分，平台相关的解码、渲染以及用户事务处理部分，代挂签到源码都没有具体分析到，大家可以参考代码自行分析。

优秀的 Verilog/FPGA开源项目介绍（十）- H.和H.

       H.是ITU-TVCEG在H.之后推出的新视频编码标准，它在保留H.某些技术的基础上，对相关技术进行了改进。H.采用了先进技术，以优化码流、编码质量、延时和算法复杂度之间的关系，旨在提高压缩效率、鲁棒性和错误恢复能力，减少实时延时和信道获取时间，降低复杂度。

       H.，即MPEG-4第十部分，是由ITU-T视频编码专家组（VCEG）和ISO/IEC动态图像专家组（MPEG）联合组成的联合视频组（JVT）提出的高度压缩数字视频编解码器标准。H.的最大优势是其高数据压缩比率，在同等图像质量的条件下，其压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。

       H.旨在在有限带宽下传输更高质量的网络视频，仅需原先的一半带宽即可播放相同质量的视频。这意味着，我们的智能手机、平板机等移动设备将能够直接在线播放p的全高清视频。H.标准也同时支持4K（×）和8K（×）超高清视频。

       H.与H.的不同之处在于，H.在H.的基础上进行了改进，包括帧内预测、帧间预测、暖心源码网转换、量化、去区块滤波器和熵编码等模块。H.的编码架构大致上与H.相似，但整体被分为三个基本单位：编码单位（CU）、预测单位（PU）和转换单位（TU）。

       复旦大学H./H.开源IP，包括H. Video Encoder IP Core，是由复旦大学专用集成电路与系统国家重点实验室（State Key Lab of ASIC & System，Fudan University）视频图像处理实验室（VIP Lab）范益波教授研究团队开发完成，并开放源代码。

       开源地址：openasic.org

       关于上板验证，网站上有相关的验证板卡代码，如下：

       github上的开源H.，开源地址：github.com/tishi/h...

       用verilog和system verilog编写，在FPGA板上用Xilinx ZYNQ验证，运行最高MHZ。

       内容：文件夹“src”包含所有解码源文件。文件夹“tb”包含测试台文件，ext_ram_.v使用axi3接口模拟ddr。文件夹“pli_fputc”是verilog pli，用于在运行模拟时将输出bin写入文件。

       使用方法：模拟：将所有测试平台和源代码文件添加到您的模拟项目源中，例如modelsim。将测试文件in.放到您的模拟项目文件夹中。然后运行，例如，对于modelsim，运行“vsim -pli pli_fputc.dll bitstream_tb”。输出是out.yuv和一些日志文件。

       在FPGA板上运行：将“src”文件夹中的源文件添加到您的FPGA项目中。顶部文件是decode_stream.sv。两个接口，stream_mem_xxx用于将H比特流馈送到解码器。

       github上的开源H.，开源地址：github.com/aiminickwong...

       无介绍

       说明：第一个项目由复旦大学专用集成电路与系统国家重点实验室（State Key Lab of ASIC & System，Fudan University）视频图像处理实验室（VIP Lab）推出，不论项目完成度还是文档说明，都非常详细，同时上面给的是该项目的论坛，论坛上有相关工作人员维护，活跃度很高，适合去学习使用。

       后面两个项目，碎碎并没验证过，但是感觉不怎么靠谱，README完整度不高，有兴趣的可以去看看。

       最后，还是感谢各个大佬开源的项目，让我们受益匪浅。后面有什么感兴趣方面的项目，大家可以在后台留言或者加微信留言，今天就到这，我是爆肝的碎碎思，期待下期文章与你相见。

       优秀的 Verilog/FPGA开源项目介绍（九）- DP（增改版）

       优秀的 Verilog/FPGA开源项目介绍（八）- HDMI

       优秀的 Verilog/FPGA开源项目介绍（七）- CAN通信

       介绍一些新手入门FPGA的优秀网站（新增2）

       优秀的 Verilog/FPGA开源项目介绍（六）- MIPI

       优秀的 Verilog/FPGA开源项目介绍（五）- USB通信

       优秀的 Verilog/FPGA开源项目介绍（四）- Ethernet

       优秀的 Verilog/FPGA开源项目介绍（三）- 大厂的项目

       优秀的 Verilog/FPGA开源项目介绍（二）-RISC-V

       优秀的 Verilog/FPGA开源项目介绍（一）-PCIe通信

FFmpeg 解码 API 以及在解码过程中存在的丢帧问题

       在优化视频客观全参考算法时，我们利用FFmpeg提供的API对输入的MP4文件进行转码为YUV格式。然而，转码后总会出现丢失视频最后几帧的现象。为解决此问题，我们深入研究了FFmpeg的源码及网络资料，最终总结出了解码过程中的关键点。

       FFmpeg提供了新的编解码API，从3.1版本开始，这一API实现了对输入和输出的解耦，同时之前的API被标记为deprecated。在我们的工具中，采用了新的解码API（avcodec_send_packet()和avcodec_receive_frame()）来实现视频帧的解码。然而，一个帧的视频实际只解码出帧，导致了丢帧问题。

       为理解解码API的工作机制，我们查阅了FFmpeg的代码，并发现了问题所在。FFmpeg的注释指出，解码器内部可能缓存多个frames/packets，因此在流结束时，需要执行flushing操作以获取缓存的frames/packets。我们工具中未执行此操作，导致了丢帧现象。通过补充flushing逻辑，问题得到解决。

       在FFmpeg的源码中，`avcodec_send_packet()`的返回值主要有三种状态，而`avcodec_receive_frame()`的返回值也分为几种情况。这些返回值定义了解码器的不同状态，整个解码过程可以看作是一个状态机。通过理解API的调用和返回值，我们可以实现正确的状态转移，避免丢帧问题。

       为了修复丢帧问题，我们需要确保在解码过程中的状态转换逻辑正确无误。如果实现中忽略了某些状态，就可能导致无法获取视频的最后几帧。通过分析和调整状态机，可以确保解码过程的完整性和准确性。

       总结：通过深入研究FFmpeg的编解码API及其使用规范，我们解决了在视频转码过程中出现的丢帧问题。关键在于正确执行flushing操作以获取解码器缓存的frames/packets，并理解解码过程的状态机模型，确保状态转换逻辑的正确性。

ffmpeg实现媒体流解码

       ffmpeg实现媒体流解码的详细步骤

       本文将深入探讨如何利用ffmpeg将MP4媒体流的视频转化为yuv格式，音频转换为pcm数据。首先，理解解复用和复用的概念至关重要：

       解复用：MP4等多媒体文件包含视频（如H或H）和音频（AAC或MP3）等多种流。ffmpeg的任务是分离这些独立的流。

       复用：则是将这些分离的流重新打包成如MP4或FLV等常见的媒体格式。

       具体解码流程分为四步：

       初始化：使用avformat_open_input打开输入文件，avformat_find_stream_info获取流信息，再通过av_find_best_stream找到视频和音频流的索引。

       视频解码：利用avcodec_find_decoder获取视频解码器，avcodec_find_context3打开解码器，avcodec_parameters_to_cotext设置解码参数，最后通过avcodec_open2启动解码器。

       音频解码：同样的方法，通过avcodec_find_decoder和avcodec_open2找到并启动音频解码器。

       解码过程：这部分涉及ffmpeg的解码核心，根据音频和视频流的特性，进行实际的解码操作。

       输出存储：音频和视频数据的存储需要特定技巧，包括选择合适的格式（如YUV或YUV）以及存储方法。

       完整源码已在文章ffmpeg实现音视频解码中提供，供读者参考和实践。

FFmpeg视频播放器开发解封装解码流程、常用API和结构体简介（一）

       在编撰FFmpeg播放器之前，深入了解FFmpeg库、播放与解码流程、相关函数以及结构体是必不可少的。

       FFmpeg是一个强大的库，它整合了多种库实现音视频编码、解码、编辑、转换、采集等功能。当处理如MP4、MKV、FLV等封装格式的视频文件时，播放过程大致包括以下几个关键步骤：

       在构建播放器时，需要关注的首要环节是解码过程，本文将对解码流程、涉及的API和结构体进行详细阐述。

       FFmpeg解码流程涉及以下几个关键步骤，包括使用av_register_all()初始化编码器，通过avformat_alloc_context()打开媒体文件并获取解封装上下文，使用avformat_find_stream_info()探测流信息，调用avcodec_find_decoder()查找解码器，然后用avcodec_open2()初始化解码器上下文，调用av_read_frame()读取视频压缩数据，通过avcodec_decode_video2()解码视频帧，最后使用avformat_close_input()关闭解封装上下文。

       涉及的FFmpeg API包括：

       av_register_all()：初始化编码器

       avformat_alloc_context()：初始化解封装上下文

       avformat_find_stream_info()：探测流信息

       avcodec_find_decoder()：查找解码器

       avcodec_open2()：初始化解码器上下文

       av_read_frame()：读取视频压缩数据

       avcodec_decode_video2()：解码视频帧

       avformat_close_input()：关闭解封装上下文

       在FFmpeg中，关键结构体如下：

       AVFormatContext：解封装上下文，存储封装格式中包含的信息。

       AVStream：存储音频/视频流信息的结构体。

       AVCodecContext：描述编解码器上下文的结构体，包含了编解码器所需参数信息。

       AVCodec：存储编码器信息的结构体。

       AVCodecParameters：分离编码器参数的结构体，与AVCodecContext结构体协同工作。

       AVPacket：存储压缩编码数据相关信息的结构体。

       AVFrame：用于存储原始数据的结构体，如视频数据的YUV、RGB格式，音频数据的PCM格式，解码时存储相关数据，编码时也存储相关数据。

       深入理解这些API和结构体对于构建高效的FFmpeg播放器至关重要。本文提供的FFmpeg源代码分析链接和相关学习资源，为深入学习提供了参考。