1.opengl esԴ?源码?
2.FFmpeg学习(一)开篇
3.如何制作api地图如何制作api地图模板
4.如何在Android上实现FrameBuffer和Overlay的blend

opengl esԴ??

       迅为RK开发板凭借其卓越的性能，集成了一系列先进的源码信号处理技术。搭载瑞芯微的源码高端ALoT芯片RK，这款8nm LP制程的源码处理器集成了强大的八核位CPU，包括四颗Cortex-A和四颗Cortex-A，源码主频高达2.4GHz，源码268网校源码内存高达8GB，源码EMMC存储为GB，源码确保了高效运行和大容量存储。源码

       GPU方面，源码开发板内置Mali G MP4四核GPU，源码支持多种图形处理标准，源码包括OpenGLES 1.1、源码2.0、源码3.2、源码OpenCL2.2和Vulkan1.2，配备了MMU的2D硬件引擎，提供流畅的显示体验和高效图形处理能力。

       在AI计算方面，RK内置第四代NPU，拥有6TOPs的算力，提升了MAC运算单元的利用率和带宽效率，为AI应用提供了强大支持。无论是视频编解码还是AI场景，都能轻松应对，如8K视频的高效编码和解码，包括H./H./VP9/AV1等多种格式。

       开发板采用模块化设计，核心板与底板分离，jenkins源码没有git便于维护和升级。核心板兼容商业级、工业级和国产化版本，PIN引脚全面，为扩展功能提供了充足空间。同时，它配备了丰富的接口，如双千兆以太网、5G/4G模块、HDMI输入输出、PCIe 3.0/2.0、SATA 3.0、USB 3.0/2.0以及Type-C接口，满足多样化的连接需求。

       系统支持方面，RK开发板预装有Android 、Debian Buildroot、Ubuntu 与等多个稳定系统版本，源码开源，方便用户进行深度定制和二次开发。

FFmpeg学习(一)开篇

       为什么要学习FFmpeg？本人希望深入研究音视频领域，音视频领域内容丰富，我计划从多个方面逐步学习：FFmpeg常用功能实践、FFmpeg源码研究、OpenGL、OpenGLES、Metal、AR、wemall 小程序源码WebRTC、直播架构等。

       当前音视频有哪些应用场景？从众多应用场景可以看出，音视频技术至关重要，尤其在5G时代，网络传输问题得到极大提升，音视频需求将爆发式增长。以下是一个简单播放器架构图：

       音频解码和视频解码一般使用FFmpeg解码，iOS8之后提供了VideoToolBox框架支持硬解码。视频渲染通常使用OpenGL直接利用GPU渲染，还有GPUImage、SDL、VLC等第三方框架。

       音视频播放中的音视频同步是一项复杂的技术。学习一项技术需要高效的方法，只有不断实践才能深刻理解。学习FFmpeg也需要好的文档，以下列举一些必备的学习文档地址：

       以上都是英文文档，如果英文学习困难，可以参考以下中文资料：

       此外，推荐两本非常好的书籍：

       相关学习资料推荐，点击下方链接免费报名，先码住不迷路~

       1. FFmpeg简介：FFmpeg是一套用于记录、转换数字音频、视频并将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的易语言校验源码完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多code都是从头开发的。FFmpeg在Linux平台下开发，但也可以在其他操作系统环境中编译运行，包括Windows、Mac OS X等。这个项目最早由Fabrice Bellard发起，年至年间由Michael Niedermayer主要负责维护。许多FFmpeg的开发人员都来自MPlayer项目，当前FFmpeg也是放在MPlayer项目组的服务器上。项目的名称来自MPEG视频编码标准，前面的"FF"代表"Fast Forward"。

       2. FFmpeg能做什么

       3. FFmpeg架构模块组成：我们先看一张FFmpeg的架构图：

       下载好的源码，我们也可以看到大致的源码结构：

       3.1 libavutil

       3.2 libavformat

       FFmpeg是否支持某种媒体封装格式，取决于编译时是否包含了该格式的封装库。根据实际需求，可进行媒体封装格式的扩展，增加自己定制的封装格式，即在AVFormat中增加自己的封装处理模块。

       3.3 libavcodec

       AVCodec中实现了目前多媒体绝大多数的编解码格式，既支持编码，也支持解码。AVCodec除了支持MPEG4、AAC、MJPEG等自带的媒体编解码格式之外，还支持第三方的编解码器，如H.(AVC)编码，会员分销源码下载需要使用x编码器；H.(HEVC)编码，需要使用x编码器；MP3(mp3lame)编码，需要使用libmp3lame编码器。如果希望增加自己的编码格式或硬件编解码，则需要在AVCodec中增加相应的编解码模块。

       3.4 libavfilter

       3.5 libavdevice

       3.6 libswscale

       3.7 libpostproc

       3.8 libswrressample

       3.9 ffmpeg

       3. ffsever

       3. ffplay

       4. FFmpeg安装：下载源码后，我们可以查看一下目录结构：

       输入./configure --help命令查看配置信息

       内容太多需要分页，输入./configure --help | more

       从上面的帮助，我们可以尝试输入：./configure --list-decoders查看所有解码器

       接下来我们可以尝试输入：./configure --list-encoders查看所有编码器

       接下来我们可以尝试输入：./configure --list-filters查看所有滤镜器

       接下来我们可以尝试输入：./configure --list-muxers查看FFmpeg的封装，封装Muxing是指将压缩后的编码封装到一个容器格式中，我们输入./configure --list-muxers来查看FFmpeg支持哪些容器格式：

       从上面打印信息来看，FFmpeg支持生成裸流文件，如H.、AAC、PCM，也支持一些常见的格式，如MP3、MP4、FLV、M3U8、WEBM等。

       从上面解封装又称为解复用格式的支持信息中可以看到，FFmpeg支持的demuxter非常多，包含image、MP3、FLV、MP4、MOV、AVI等。

       从支持的协议列表中可以看到，FFmpeg支持的流媒体协议比较多，包括MMS、HTTP、HTTPS、HLS、RTMP、RTP，甚至支持TCP、UDP，它还支持使用file协议的本地文件操作和使用concat协议支持的多个文件串流操作。

       接下来我们可以尝试输入：./configure --list-parsers查看FFmpeg支持的解析器

       接下来我们可以尝试输入：./configure --list-bsfs查看FFmpeg支持的字节流过滤器

       接下来我们可以尝试输入：./configure --list-indevs查看有效的输入设备

       接下来我们可以尝试输入：./configure --list-outdevs查看有效的输出设备

如何制作api地图如何制作api地图模板

       第一步是介绍BaiduMapAPI.framework

       第二步是引入所需的系统库。

       将CoreLocation.framework和QuartzCore.framework引入Xcode项目，

       OpenGLES.framework、SystemConfiguration.framework、CoreGraphics.framework、

       安全.框架.添加方法:在Xcode的项目中->:活动目标->；体格

       阶段->；链接二进制和库，只需添加这些框架。

       步骤3:环境配置

       在目标->:构建设置->；将-ObjC添加到其他链接器标志中。

       第四步，引入mapapi.bundle资源文件。

       如果使用基础地图功能，需要添加该资源，否则地图无法正常显示。

       Mapapi.bundle存储了定位的资源、默认的pin标记视图和路线的关键点，以及矢量地图绘制所必需的资源文件。如果你不需要使用

       内置图像显示功能，可以删除捆绑文件中的图像文件夹。您还可以根据自己的具体需要，任意替换或删除该包中image文件夹中的图像。

       一块。

       方法:选择项目名称，然后在右键菜单中选择“添加文件到”。

       “项目名称”?，从baidumapapi.frameworkresources文件中选择mapapi.bundle文件，并选中“复制”

       项”复选框，并单击“添加”按钮将资源文件添加到项目中。

       步骤5:引入头文件。

       使用SDK在类中引入头文件:

       #导入

       以上均引自百度地图文档。这里要注意第四条。有这些在。框架，但是它们仍然需要单独添加到项目中。

       还需要在info.plist中添加(下面两个选一个，两个都用默认的NSLocationWheninuseUsagedescription添加):

       NSLocationWhenNinuseUsagedescription，允许您在前台使用GPS时获取其描述。

       NSLocationAlwaysusageDescription，允许永久使用GPS的描述

       使用时，由于第四步没有操作，发动机初始化失败。百度的文档真的不方便。写这篇文章，希望能给将要使用百度地图的朋友提供一些帮助。

       一、使用百度地图的注意事项

       1.静态库是由ObjectC实现的，因此您需要确保至少有一个带有。mm后缀(您可以用。m后缀为。mm)，或者在项目属性中指定编译方式，也就是Xcode的project->；编辑活动目标-构建->；GCC4.2-语言->；编译设置为"的源代码。objective-c

       2.如果只在Xib文件中使用BMKMapView，而不在代码中使用，那么链接时编译器不会链接相应的符号。需要在项目属性中明确设置:在Xcode的项目中->:编辑活动目标->；构建->；链接-将-ObjC添加到其他链接器标志中。

       3.申请授权密钥:新密钥和旧密钥不能通用，即新密钥只能在v2.0.2及以后版本的SDK中使用，旧密钥只能在v2.0.1及以前版本的SDK中使用；如果您还没有授权密钥，请申请它。

       4.管理地图的生命周期:从2.0.0开始，BMKMapView增加了ViewwillApparel和ViewwillApparel方法来控制BMKMapView的生命周期，一次只能有一个BMKMapView接收回调消息。因此，在使用BMKMapView的viewController中，需要调用viewWillAppear和viewWillAppear方法中BMKMapView的对应方法，并处理delegate，代码如下:

       -(void)viewWillAppear:(BOOL)animated{ [_mapViewviewWillAppear]；_mapView.delegate=self//这里记住nil需要在不使用的时候设置，否则会影响内存的释放}-(void)viewwill消失:

       -(BOOL)动画{ [_mapView视图将消失]；_mapView.delegate=nil//不使用时，设置nil}

       5.从iOSSDKv2.5.0开始，为了兼容iOS8的定位能力，做了相应的修改。开发者在使用过程中的注意事项如下:需要在info.plist中添加(下面两个选一个，两个都添加默认使用nslocationwhenninuseusagedescription):nslocationwhenninuseusagedescription，可以让你在前台使用GPS时获得对它的描述，并且可以让你永久使用GPS的描述。

       6.在使用Xcode6开发SDK的过程中，需要在info.plist中添加:Bundledisplayname，其值不能为空(Xcode6新建项目没有这个配置，如果没有，管理器启动会失败)

       7.从百度地图iOSSDKv2.5.0开始，支持和适配了arm，开发包的体积增大。但根据开发者在R//在应用程序即将后台时调用，停止所有与调用opengl相关的操作}-(void)applicationdidcombeactive:(uiApplication*)Application{ [bmkmapviewdiground]；//应用程序返回前台状态时调用，回复地图的渲染和opengl相关操作}

       二、使用百度地图需要介绍的库

       (1)引入头文件

       首先，复制头文件和静态库(。a)百度MapAPI提供的文件到你的项目目录，在Xcode中添加一个新的文件组，引入百度MapAPI提供的头文件(请使用Xcode4。x或以上平台)。添加以下代码#import

       第二种方法:使用lipo命令合并。把一个设备和模拟器变成一个通用的。一个文件，并拖动合并的通用。项目中的一个文件。具体命令如下:lipo-createrelease-iphoneOS/libbaidumapapi.arelease-iphonesimulator/libbaidumapapi.a-outputlibbaidumapapi.a

       第三种方式:

       1.将API的libs文件夹复制到应用程序项目的根目录。

       2.Xcode中的项目->:编辑活动目标->；构建->；链接-将-ObjC添加到其他链接器标志中。

       3.在Xcode的项目中设置静态库的链接路径->:编辑活动目标->；构建->；搜索路径-将静态库目录添加到库路径中，例如"$(SRCROOT)/../libs/Release$(有效平台名称)编辑活动目标-构建->；GCC4.2-语言->；编译设置为"的源代码。objective-c

       (3)介绍系统框架

       百度地图SDK提供定位功能和动画效果，v2.0.0版本开始使用OpenGL渲染，所以你需要在你的Xcode项目中引入CoreLocation.framework和QuartzCore.framework，OpenGLES.framework，SystemConfiguration.framework，CoreGraphics.framework和Security.framework。添加方法:在Xcode的项目中->:活动目标->；构建阶段->；用库连接二进制，只需添加这些框架。

       (4)介绍mapapi.bundle资源文件

       Mapapi.bundle存储了定位的资源、默认的pin标记视图和路线的关键点，以及矢量地图绘制所必需的资源文件。如果不需要使用内置的图像显示功能，可以删除捆绑文件中的图像文件夹。您还可以根据您的具体需要，任意替换或删除该包中图像文件夹的图像文件。

       添加方法:将mapapi.bundle复制到你的项目目录下，将bundle文件直接拖拽到Xcode项目左侧的Groups

       gc.getLocation(pointAdd,function(rs){ varaddComp=rs.addressComponents;varadr="车辆:"+chepai+"rr"+"位于:"+addComp.province+","+addComp.city+","+addComp.district+","+addComp.street+","+addComp.streetNumber;//创建信息窗口，点击标注时显示标注对应的车牌号码以及当前地址varinfoWindow1=newBMap.InfoWindow(adr);marker.addEventListener("click",function(){ this.openInfoWindow(infoWindow1);});});

如何在Android上实现FrameBuffer和Overlay的blend

       1.SurfaceFlinger是一个服务，主要是负责合成各窗口的Surface，然后通过OpenGLES显示到FrameBuffer上。

       2.DisplayHardware是对显示设备的抽象，包括FrameBuffer和Overlay。加载FrameBuffer和Overlay插件，并初始化OpenGLES:

       view plain

       mNativeWindow = new FramebufferNativeWindow();

       framebuffer_device_t const * fbDev = mNativeWindow->getDevice();

       if (hw_get_module(OVERLAY_HARDWARE_MODULE_ID, &module) == 0) {

        overlay_control_open(module, &mOverlayEngine);

       }

       surface = eglCreateWindowSurface(display, config, mNativeWindow.get(), NULL);

       eglMakeCurrent(display, surface, surface, context);

       3.FramebufferNativeWindow 是framebuffer 的抽象，它负责加载libgralloc，并打开framebuffer设备。FramebufferNativeWindow并不直接使用 framebuffer，而是自己创建了两个Buffer：

       queueBuffer负责显示一个Buffer到屏幕上，它调用fb->post去显示。

       dequeueBuffer获取一个空闲的Buffer，用来在后台绘制。

       è¿™ä¸¤ä¸ªå‡½æ•°ç”±eglSwapBuffers调过来，调到

       view plain

       egl_window_surface_v2_t::swapBuffers：

        nativeWindow->queueBuffer(nativeWindow, buffer);

        nativeWindow->dequeueBuffer(nativeWindow, &buffer);

       4.msm7k/liboverlay是Overlay的实现，与其它平台不同的是，高通平台上的Overlay并不是提供一个framebuffer设备，而通过fb0的ioctl来实现的，ioctl分为两类操作：

       OverlayControlChannel用于设置参数，比如设置Overlay的位置，宽度和高度：

       view plain

       bool OverlayControlChannel::setPosition(int x, int y, uint_t w, uint_t h) {

        ov.dst_rect.x = x;

        ov.dst_rect.y = y;

        ov.dst_rect.w = w;

        ov.dst_rect.h = h;

        ioctl(mFD, MSMFB_OVERLAY_SET, &ov);

       }

       OverlayDataChannel用于显示Overlay，其中最重要的函数就是queueBuffer:

       view plain

       bool OverlayDataChannel::queueBuffer(uint_t offset) {

        mOvData.data.offset = offset;

        ioctl(mFD, MSMFB_OVERLAY_PLAY, odPtr))

       }

       5.msm7k/libgralloc 是显示缓存的抽象，包括framebuffer和普通Surface的Buffer。framebuffer只是/dev/graphic/fb0的包 装，Surface的Buffer则是对/dev/pmem、ashmem和GPU内存(msm_hw3dm)的包装，它的目标主要是方便硬件加速，因为 DMA传输使用物理地址，要求内存在物理地址上连续。

       6.msm7k/libcopybit这是2D加速库，主要负责Surface的拉伸、旋转和合成等操作。它有两种实现方式：

       copybit.cpp: 基于fb0的ioctl(MSMFB_BLIT)的实现。

       copybit_c2d.cpp: 基于kgsl的实现，只是对libC2D2.so的包装，libC2D2.so应该是不开源的。

       7.pmem

       misc/pmem.c: 对物理内存的管理，算法和用户空间的接口。

       board-msm7x.c定义了物理内存的缺省大小：

       view plain

       #define MSM_PMEM_MDP_SIZE 0x1B

       #define MSM_PMEM_ADSP_SIZE 0xB

       #define MSM_PMEM_AUDIO_SIZE 0x5B

       #define MSM_FB_SIZE 0x

       #define MSM_GPU_PHYS_SIZE SZ_2M

       #define PMEM_KERNEL_EBI1_SIZE 0x1C

       msm_msm7x2x_allocate_memory_regions分配几大块内存用于给pmem做二次分配。

       8.KGSL

       Kernel Graphics System Layer (KGSL)，3D图形加速驱动程序，源代码drivers/gpu/msm目录下，它是对GPU的包装，给OpenGLES 2.0提供抽象的接口。

       9.msm_hw3dm

       è¿™ä¸ªæˆ‘在内核中没有找到相关代码。

       .msm_fb

       msm_fb.c: framebuffer, overlay和blit的用户接口。

       mdp_dma.c: 对具体显示设备的包装，提供两种framebuffer更新的方式：

       mdp_refresh_screen： 定时更新。

       mdp_dma_pan_update: 通过pan display主动更新。

       mdp_dma_lcdc.c：针对LCD实现的显示设备，mdp_lcdc_update用更新framebuffer。