1.免费串口调试助手 开源 C#
2.RocketMQ原理（4）——消息ACK机制及消费进度管理
3.PolarDB-X 源码解读（七）：私有协议连接的云免源码云免原理一生（CN篇）
4.Rocketmq 5.0 任意时间定时消息（RIP-43） 原理详解 & 源码解析

免费串口调试助手 开源 C#

       工业控制类软件在Windows平台下，使用C#语言进行开发，流控流控既方便又快捷。云免源码云免原理在工控领域中，流控流控串口通讯是云免源码云免原理一种非常常见的需求。因此，流控流控uniapp知识库源码我花费时间开发了一个通用的云免源码云免原理串口调试助手工具，并将工控调试中常用的流控流控功能集成在上面，以方便用户进行调试。云免源码云免原理源码已经在gitee上开源，流控流控界面采用wpf实现，云免源码云免原理源码地址为：

       接下来，流控流控我将简单介绍一下已实现的云免源码云免原理功能。

       程序功能主要分为以下四大块：

       1. 串口通讯

       2. TCP通讯

       3. 小工具

       4. 支持中英文双语切换

       5. 检查版本更新

       6. 曲线显示读取的流控流控值。

       一、云免源码云免原理串口通讯

       串口通讯详细功能：

       1. 支持手动刷新串口设备列表。

       2. 支持流控。

       3. 接收发送编码方式同时支持ASCII和HEX方式。

       4. 在ASCII模式下，可设置结束符，如回车换行等。

       5. 在HEX模式下，支持自动计算标准ModbusRTU的CRC。

       6. 发送支持循环发送。

       7. 接收区显示支持显示发送和显示接收，并可设置发送和接收的字符串颜色。

       8. 接收区显示支持显示发送和接收的时间，时间格式可自定义。

       9. 底部显示串口状态，总接收字节数和总发送字节数。各字节数可手动清零。

       . 接收区字符串可一键清空。

       . 记录发送历史，支持记录最新的条历史记录。

       . 可将接收区显示的字符实时保存到本地txt文档。

       . 可将读取到的值以实时曲线的形式显示出来。

       二、TCP通讯

       TCP通讯详细功能：

       1. 支持TCP Client/TCP Server。

       2. 在TCP Server模式下，可显示当前连接客户端列表。

       3. TCP通讯采取异步方式通讯。

       4. 支持串口通讯功能中的3-项。

       5. 不支持TCP连接断开的自动侦测。

       三、小工具

       包含的小工具介绍：

       1. 通用校验方法中包含常用的LRC、XOR、kz脚本源码CheckSum、FCS、Modbus-CRC等校验的计算。

       2. 数据转换包含整数和小数与进制HEX的转换。

       3. 与base互转。

       4. 数据采集中常用的模拟量与工程量转换计算。

       5. ASCII码表。

       6. C#颜色对照表。

       7. 拾取屏幕颜色。该功能使用鼠标hook实现。通过hook技术可实现拦截或修改键盘鼠标等的操作，有这方面需求的可参考。

       四、检查更新

       1. 检查更新方式：

       利用gitee作为更新检查的服务器，将版本号和下载连接写在gitee项目文件中，实现自动检查更新并提供下载连接的功能。

       五、相关开源项目

       1. 跨平台（Linux/Windows）串口通讯源码开源连接：

       xuyuanbao/BaoYuanSerial: A GUI Serial Debug Tool for Linux/Microsoft Window (github.com)

RocketMQ原理（4）——消息ACK机制及消费进度管理

       在 RocketMQ 中，消息的 ACK 机制和消费进度管理是保证消息成功消费的关键。在 PushConsumer 中，消息消费的管理主要通过消费回调来实现。当业务实现消费回调时，只有在回调函数返回 ConsumeConcurrentlyStatus.CONSUME_SUCCESS 的情况下，RocketMQ 才会认为该批消息（默认每批为 1 条）已被成功消费。如果消息消费失败，例如遇到数据库异常或余额不足等情况，业务应返回 ConsumeConcurrentlyStatus.RECONSUME_LATER，表示消息需要重新尝试。

       为了确保消息至少被成功消费一次，RocketMQ 会将消费失败的消息重新投递给 Broker（消息主题将变更为重试主题），并在指定时间（默认为 秒，可配置）后再次将消息投递到该 ConsumerGroup。如果消息在多次尝试后仍无法成功消费，则会投递到死信队列，应用程序可以监控死信队列并采取人工干预措施。

       当启动一个新的实例时，PushConsumer 会根据先前存储的消费进度（consumer offset）来发起第一次 Pull 请求。如果当前消费进度在 Broker 中不存在，这表明是一个全新的消费组，此时客户端可以选择不同策略。社区中常见的一种疑问是：“为什么我设置了 CONSUME_FROM_LAST_OFFSET，但历史消息还是被消费了？” 这是因为只有全新的消费组才会使用特定策略，而老的消费组则会继续按已存储的进度消费。

       为了优化性能并减少重复消费的风险，RocketMQ 采用一种与单条消息单独 ACK 不同的航天龙梦源码机制来管理消费进度。消费进度记录的是批次中最小的 offset 值，这意味着如果一批消息中有多个 offset，只有最小的 offset 会被更新。这种设计可以提高性能，但也带来潜在的重复消费问题，即消费进度可能仅更新至已消费消息的最小 offset，导致后续消息被重复消费。为解决这一问题，RocketMQ 在较新版本中引入了流控机制，通过配置 consumeConcurrentlyMaxSpan，当缓存中消息的最大值与最小值差距超过此阈值（默认为 ）时，会暂停消息的拉取，以缓解重复消费风险。

       尽管如此，解决消费进度卡住的问题，最直接的方法是设置消费超时时间。在 RocketMQ 3.5.8 及之后的版本中，引入了超时处理机制，以应对消费进度卡住的情况。通过源码分析，可以看到该方案在一定程度上解决了消费进度卡住的问题，但仍存在一些不足之处。

PolarDB-X 源码解读（七）：私有协议连接的一生（CN篇）

       通过前文的介绍，大家基本了解了一条SQL在polardbx-sql中的解析和执行流程。由于polardbx-sql是无状态的计算节点，真正数据需要从存储节点传输到计算节点，这部分工作由私有协议完成。本文将详细介绍从发送请求到存储节点，接收返回数据的完整流程，重点在于私有协议连接的生命周期和关键代码解析。

       概述

       为了提高数据节点本地计算能力，同时减少网络数据传输量，计算节点会尽可能下推计算内容。一个逻辑表可能需要多个物理分片，因此计算节点与存储节点的请求会话数量会随着分片数增加而增加。传统MySQL协议+连接池架构已不能满足PolarDB-X的需求，因此私有协议在这一需求场景下应运而生。

       如图所示，私有协议采用连接与会话分离的RPC协议设计理念，支持多个会话在同一个TCP通道中并行运行，具备流控机制、全双工响应式工作模式和高吞吐、可扩展等特性。

       更多关于私有协议解决上述问题的设计详情，可以参考《PolarDB-X私有协议设计》一文。创梦源码社区本文主要从代码层面详细描述私有协议的工作流程。

       我们将从计算节点和存储节点两个角度完整解析私有协议连接的生命周期。篇幅限制，本文仅关注计算节点上私有协议的处理，存储节点部分将在后续文章中详细说明。

       计算节点

       计算节点作为私有协议的客户端，负责发送下推请求，并接收返回的数据。

       网络层框架

       PolarDB-X私有协议网络层采用定制化Reactor框架实现，基于Java的NIO，改进自polardbx-sql中的Reactor框架。网络层初始化时，设置CPU核心数的2倍（上限为）作为NIOProcessor，每个Reactor使用独立的堆外内存池作为收发包缓冲，总缓冲内存大小限制为堆内存大小的%。

       NIO接收的包直接调用注册的处理函数，发送数据仅写入send buf，网络写入由单独线程完成。线程优先写入TCP send buf，当无法写入时，注册OP_WRITE事件等待可写后再写入剩余内容。

       数据包的编码和解码在NIOClient中实现。为实现最佳性能，解包流程直接在堆外内存上进行，使用protobuf对流直接解析，将结果放入堆内。堆外内存被切分为KB chunk，每个Reactor独占一个chunk，连续解析和复用，最大化接收、解析效率。对于特大包，额外构造堆内大buffer接收和解析，回退标志在定时任务中重置，连续s无超大包时释放堆内内存，恢复高性能堆外KB buffer接收。

       请求发送集成在NIOClient中，writer优先尝试写入发送缓冲队列尾部的buffer，不足时新申请buffer填充并追加到队尾。buffer来自预分配的堆外缓冲池，超过chunk大小时分配堆内buf进行序列化。

       同时，NIOClient负责TCP连接的建立和断开资源释放，作为独立的底层网络资源管理实现。

       连接及会话

       网络层之后，oa掌盟源码我们聚焦连接与会话分离的具体实现。通过剥离连接及收发包的具体实现，连接和会话的管理变得更加清晰简洁。

       首先，一个TCP连接的逻辑抽象结构在XClient中实现，为避免误解，取名为client与JDBC中的Connection区别。该类管理TCP连接和并行运行的会话，负责TCP完整生命周期的管理、认证鉴权，并维护公共信息。其中，workingSessionMap记录了连接上并行运行的所有会话映射关系，可快速通过会话ID找到对应的会话抽象结构XSession。

       XSession提供了所有会话相关的请求函数和信息存储，包括执行计划请求、SQL查询请求、SQL更新请求、TSO请求、会话变量处理、数据包处理及异步唤醒等。

       连接池及全局单例管理器

       为了提高性能，TCP连接和会话的复用必不可少。由于连接和会话的解绑，连接池不仅缓存了到计算节点的TCP连接，也缓存了到计算节点的会话。

       XClientPool管理到一个存储节点的连接池，通过IP，端口，用户名三元组唯一确定目标存储节点，同时存储该节点的全部TCP连接（XClient）和建立的会话（XSession）。

       XClientPool实现存储节点会话获取，对应JDBC接口中的getConnection，同时实现连接和会话生命周期管理、连接探活、会话预分配等功能。实现单个存储节点连接池后，XConnectionManager维护目标存储节点三元组到实例连接池的映射，管理定时任务线程池，实现定时探活、会话&连接最长生命控制以及连接池预热等功能。

       JDBC兼容层

       新的SQL协议层对上层使用者要求较高，为了提高开发效率，私有协议提供兼容JDBC的使用方法，实现从JDBC平滑切换至私有协议，并支持协议热切换。

       JDBC兼容层代码目录在compatible目录下，Connection继承在XConnection文件中。提供包括DataSource、Connection、Statement、PreparedStatement、ResultSet、ResultSetMetaData在内的大部分常用接口函数实现，不支持的函数会明确抛出异常避免误用。

       整体关系

       至此，私有协议计算节点端的大部分结构已说明完成。给出一个整体的关系图。

       私有协议连接的一生（CN视角）

       了解了私有协议各层实现后，我们以发到存储节点的请求为例，完整梳理执行流程。绕开计算节点复杂流程，直接运行代码示例（注：需将com.alibaba.polardbx.rpc.XConfig#GALAXY_X_PROTOCOL设置为true）。

       直接运行playground看到预期的select 1的结果。接下来，我们深入跟踪说明。

       数据源初始化

       要使用私有协议，需要初始化对应存储节点的XDataSource。构造过程中，XDataSource会到XConnectionManager注册新的实例连接池，已存在的连接池引用计数加一。

       获取Connection

       当需要执行查询时，首先获取会话。无论是显式开启事务还是使用auto commit事务，会话都是执行请求的最小上下文。通过XDataSource的getConnection方法获取到对应存储节点的会话。XDataSource根据存储的IP，端口，用户名三元组查找到XConnectionManager中的连接池，在最高并发检查后，会话获取逻辑在XClientPool实现。首先尝试在空闲会话池中拿会话，通过重置检查和初始化后返回给调用者。大部分场景下，ConcurrentLinkedQueue提供较好的并发性能。

       在代码场景下，数据源刚新建，后台定时任务未运行，流程进入连接创建流程。会有一把大锁锁住连接池，在TCP连接未达上限且没有超时的情况下，快速新建一个XClient占坑。若超限，则进入busy waiting循环。真正的TCP connect（waitChannel）在锁外被调用，首先client以阻塞模式带超时方式connect，然后切换为非阻塞模式，round robin策略注册到NIOProcesser上，返回时，TCP连接已建立。

       为了兼顾安全和性能，连接鉴权在TCP建连后只用做一次，会话创建不需要鉴权。鉴权在initClient中完成，发送SESS_AUTHENTICATE_START_VALUE包，后续校验由回调完成。认证采用标准的MySQL认证流程，server端返回challenge值，库名、用户名和加盐hash后的密码返回给MySQL即可完成认证。

       至此，到存储节点的TCP连接已建立，创建会话是一个异步流程。在创建新XClient时，XConnection已new好，通过下断点跟进去可看到newXSession流程，分配session id，设置状态为init，将XSession绑定到XConnection上。

       最后，XConnection经过初始化（重置auto commit状态）、重置默认DB、默认字符集（lazy操作）和统计信息记录，返回给用户使用。

       发送查询请求

       拿到初始化好的兼容JDBC的Connection，为了简化流程，直接调用XConnection中的execQuery。XConnection的execQuery包装了XSession的execQuery，执行前执行了设置流式模式。

       首先记录调用信息进行统计，进入关键的initForRequest流程。XSession初始化流程lazy，仅分配session id，设置状态为Init，真正创建session时发送SESS_NEW给server，绑定新session和session id。如果session已复用，则状态为Ready。

       执行字符集更改的lazy操作，session可能在其他请求中切换字符集，根据目标字符集和当前字符集对比，决定是否发送额外的字符集更改请求。

       经过一系列变量设置、lazy DB设置和protobuf包构造，请求发送到存储节点执行。发送后，同步生成XResult负责结果解析，同时XResult按照请求顺序依次拉链表，确保结果与请求一一对应。

       请求流水线结构如下图所示，处理完成前序请求后，才能解析后续结果。

       接收结果集

       请求已发送到存储节点执行，拿到XResult，通过XResult收集查询结果集。XResult与发送请求一一对应，存储节点处理也是在会话上排队进行，不会影响流水线上其他请求的返回，保证流水线正常工作。

       首先，查看结果集处理的状态机，主要状态包括获取元数据、获取数据行、获取额外信息等，顺序固定，根据请求类型，部分环节可能被省略。报错处理贯穿整个状态机，任何报错信息都会导致状态机进入错误处理环节。

       对于非流式数据读取，请求结束时主动调用finishBlockMode将所有数据读出并缓存到rows中。对于流式执行的情况，结果集状态机消费数据包队列由XResult的next函数推动，内部函数internalFetchOneObject递归调用前序XResult，消费前序请求结果，从数据包队列中消费并推动状态机流转。

       对于查询，首先收到RESULTSET_COLUMN_META_DATA包，表示返回数据列定义，一个包表示一列。元数据包后，收到包含数据行的RESULTSET_ROW包，一个包对应一行。数据行传输完成后，server端发送RESULTSET_FETCH_DONE标示数据发送完成。请求结束前，NOTICE包用于告知客户端rows affected等信息。最后，SQL_STMT_EXECUTE_OK包标示请求结束。

       至此，完整请求处理完成，控制台应显示查询结果。

       总结

       本文详细描述了私有协议连接流程中的关键点和关键数据结构，相信通过本文描述，大家掌握了私有协议连接流程的基本点，在调试和修改使用中能够更加得心应手。虽然本文篇幅较长，但实际使用中涉及更多高级特性的使用，如多请求流水线、流控、执行计划传输、chunk结果集传输等。通过本文，我们对私有协议连接流程有了深入理解，为在实际场景中应用提供坚实基础。

Rocketmq 5.0 任意时间定时消息（RIP-） 原理详解 & 源码解析

       延迟消息，又称定时消息，其核心在于消息到达消息队列服务端后不会立即投递，而是在特定时间点投递给消费者。这种机制在当前互联网环境中有着广泛的需求，尤其在电商、网约车等场景中，用户下单后可能不会立即付款，订单也不会一直处于开启状态，需要一定时间后进行回调，以关闭订单。此时，使用分布式定时任务或消息队列发送延迟消息是更轻量级的选择。

       延迟消息与定时消息在实现效果上相同，都是指消息在经过一段时间后才会被投递。在RocketMQ 4.x中，仅支持通过设定延迟等级来支持个固定延迟时间。然而，这种方案的局限性在于无法支持任意时间的定时，且最大定时时间仅为2小时，性能也难以满足需求。因此，许多公司开始自研任意时间定时消息，扩展最大定时时长。

       在RocketMQ 5.x中，开源了支持任意时间的定时消息。与4.x的延迟消息相比，5.x的定时消息在实现机制上完全不同，互不影响。在5.x客户端中，构造消息时提供了3个API来指定延迟时间或定时时间。

       任意时间定时消息的实现存在一些难点，例如任意的定时时间、定时消息的存储和老化、以及大量定时消息的极端情况等。为了解决这些问题，RIP-引入了TimerWheel和TimerLog两个存储文件，以实现任意时间的定时功能。TimerWheel是一个时间轮的抽象，表示投递时间，它保存了2天（默认）内的所有时间窗。TimerLog则是定时消息文件，保存定时消息的索引，以链表结构存储。通过这两个文件，可以有效地实现任意时间的定时功能。

       此外，RIP-还设计了定时任务划分和解耦的机制，将定时消息的保存和投递分为多个步骤，每个步骤都由一个服务线程来处理。通过使用生产-消费模式，实现了任务的解耦和流控，确保了系统的稳定性和性能。

       在源码解析方面，RIP-中引入了TimerWheel和TimerLog两个文件，以及TimerEnqueueGetService、TimerEnqueuePutService、TimerDequeueGetService、TimerDequeueGetMessageService、TimerDequeuePutMessageService等组件，实现了定时消息的保存和投递功能。