1.在 Linux 上检测 IDE/SATA SSD 硬盘的检检测传输速度
2.译：一文科普 RocksDB 工作原理
3.BlueStore源码分析之Cache
4.SSD 分析（一）

在 Linux 上检测 IDE/SATA SSD 硬盘的传输速度

       检测 Linux 上 IDE/SATA SSD 硬盘的传输速度

       在 Linux 环境下，我们可以通过 hdparm 和 dd 命令来评估硬盘性能。测源hdparm 是工具一个强大的工具，提供了对各种硬盘的检检测 ioctls 的命令行接口，这些接口由 Linux 系统的测源 ATA/IDE/SATA 设备驱动程序子系统所支持。确保使用最新的工具mkfs 源码内核版本，并且推荐使用最新内核源代码的检检测包含头文件来编译 hdparm。

       使用 `hdparm` 命令检测硬盘速度的测源步骤如下：

       以 root 权限登录，运行以下命令：

       或者

       为了获取更准确的工具数据，重复此操作 2-3 次。检检测这个操作测量了系统处理器、测源高速缓存和存储器的工具吞吐量指标。例如：

       要确定 SATA 硬盘的检检测连接速度，请执行：

       输出将显示硬盘的测源速度，即 1.5Gb/s、工具3.0Gb/s 或 6.0Gb/s。请确保 BIOS/主板支持 SATA-II/III。

       使用 `dd` 命令同样可以获取速度信息：

       通过调整 `dd` 命令参数，可以进行更详细的性能测试。

       除了命令行工具外，您还可以使用“磁盘实用程序”GUI 工具。amontc指标源码在最新版本的 Gnome 中，该工具简称为“磁盘”。要测试硬盘性能，请按照相应的指南进行操作。

       为了安全地测试硬盘性能，选择只读模式。此模式下不会损坏数据。若要测试读写性能并可能导致数据丢失，请确保谨慎操作。

       本文由 LCTT 原创编译，Linux中国荣誉推出。作者是 nixCraft 的创始人，系统管理员专家，也是 Linux 操作系统/Unix shell 脚本的培训师。他与多个行业领域合作，包括 IT、教育、国防、空间研究和非营利组织。

译：一文科普 RocksDB 工作原理

       RocksDB 是tcpreplay源码下载一种可持久化的、内嵌型的键值存储（KV 存储）。它旨在存储大量 key 及其对应的 value，常被用于构建倒排索引、文档数据库、SQL 数据库、缓存系统和消息代理等复杂系统。RocksDB 在 年从 Google 的 LevelDB 分叉而来，针对 SSD 服务器进行了优化，并目前由 Meta 开发和维护。它以 C++ 编写，支持 C、C++ 及其他语言（如 Rust、Go、Java）的嵌入。如果你熟悉 SQLite，可以认为 RocksDB 是一种内嵌式数据库，需依赖应用层实现特定功能。

       RocksDB 使用日志结构合并树（LSM-Tree）作为核心数据结构，这是一种基于多个有序层级的树形数据结构，可用于应对写密集型工作负载。鸡西源码开发LSM-Tree 的顶层是 MemTable，一个内存缓冲区，用于缓存最近的写入数据。较低层级的数据存储在磁盘上，以 L0 层为例，存储从内存移动到磁盘的数据，其他层级存储更旧的数据。当某一层级的数据量过大时，会通过合并操作转移到下一层。

       为了保证数据持久化，RocksDB 将所有更新写入磁盘上的预写日志（WAL）。当应用重启时，可以通过回放 WAL 来恢复 MemTable 的原始状态。WAL 是一个只允许追加的文件，包含一组更改记录序列，每个记录包含键值对、操作类型和校验和。

       当 MemTable 变满时，会触发刷盘（Flush）操作，将不可变的客户指标源码 MemTable 内容持久化到磁盘，并丢弃原始 MemTable，同时开始写入新的 WAL 和 MemTable。MemTable 默认基于跳表实现，以提高查询和插入效率。RocksDB 支持各种压缩算法，如 Zlib、BZ2、Snappy、LZ4 或 ZSTD，用于存储 SST 文件。

       SST 文件是 MemTable 刷盘后生成的，包含了有序的键值对。每个 SST 文件由数据部分和索引块组成，数据部分包含一系列有序的键值对，而索引块存储了数据块中最后一个键的偏移量，便于快速定位键值对。RocksDB 还支持布隆过滤器，用于快速检测某个键是否存在于 SST 文件中。

       当数据库大小增加时，空间放大（存储数据所用实际空间与逻辑大小的比值）和读放大（用户执行一次逻辑读操作所需实际 IO 次数）的问题变得明显。为了解决这些问题，RocksDB 实现了 Compaction 机制，通过合并 SST 文件来降低空间和读放大，同时增加写放大。Leveled Compaction 是默认策略，它会在不同层级之间进行选择性合并，以优化空间使用。

       RocksDB 的读路径相对简单，主要涉及从 MemTable 开始，下探到 L0 层，然后继续向更低层级查找，直到找到目标键或检查完整个树。合并（merge）操作允许用户在内存中对键值进行聚合操作，适用于需要对已有值进行少量更新的场景。然而，这种操作增加了读时的复杂性，因为读操作需要在多次调用 merge 函数后才能得到最终结果。

       使用 RocksDB 需要针对特定工作负载进行配置调优，因为它提供了许多可配置项，但理解其内部原理并调整这些配置通常需要深入研究源代码。RocksDB 是构建高性能数据库模块的优秀选择，能够帮助开发者专注于上层业务逻辑实现，而无需从零开始设计底层存储系统。

BlueStore源码分析之Cache

       BlueStore通过DIO和Libaio直接操作裸设备，放弃了PageCache，为优化读取性能，它自定义了Cache管理。核心内容包括元数据和数据的Cache，以及两种Cache策略，即LRU和2Q，2Q是默认选择。

       2Q算法在BlueStore中主要负责缓存元数据（Onode）和数据（Buffer），为提高性能，Cache被进一步划分为多个片，HDD默认5片，SSD则默认8片。

       BlueStore的元数据管理复杂，主要分为Collection和Onode两种类型。Collection存储在内存中，Onode则对应对象，便于对PG的操作。启动时，会初始化Collection，将其信息持久化到RocksDB，并为PG分配Cache。

       由于每个BlueStore承载的Collection数量有限（Ceph建议每个OSD为个PG），Collection结构设计为常驻内存，而海量的Onode则仅尽可能地缓存在内存中。

       对象的数据通过BufferSpace进行管理，写入和读取完成后，会根据特定标记决定是否缓存。同时，内存池机制监控和管理元数据和数据，一旦内存使用超出限制，会执行trim操作，丢弃部分缓存。

       深入了解BlueStore的Cache机制，可以参考以下资源：

SSD 分析（一）

       研究论文《SSD: Single Shot MultiBox Detector》深入解析了SSD网络的训练过程，主要涉及从源码weiliu/caffe出发。首先，通过命令行生成网络结构文件train.prototxt、test.prototxt以及solver.prototxt，执行名为VGG_VOC_SSD_X.sh的shell脚本启动训练。

       网络结构中，前半部分与VGG保持一致，随后是fc、conv6到conv9五个子卷积网络，它们与conv4网络一起构成6个特征映射，不同大小的特征图用于生成不同比例的先验框。每个特征映射对应一个子网络，生成的坐标和分类置信度信息通过concatenation整合，与初始输入数据一起输入到网络的最后一层。

       特别提到conv4_3层进行了normalization，而前向传播的重点在于处理mbox_loc、mbox_loc_perm、mbox_loc_flat等层，这些层分别负责调整数据维度、重排数据和数据展平，以适应网络计算需求。mbox_priorbox层生成基于输入尺寸的先验框，以及根据特征图尺寸调整的坐标和方差信息。

       Concat层将所有特征映射的预测数据连接起来，形成最终的输出。例如，conv4_3_norm层对输入进行归一化，AnnotatedData层从LMDB中获取训练数据，包括预处理过的和对应的标注。源码中，通过内部线程实现按批加载数据并进行预处理，如调整图像尺寸、添加噪声、生成Sample Box和处理GT box坐标。

       在MultiBoxLoss层，计算正负例的分类和坐标损失，利用softmax和SmoothL1Loss层来评估预测和真实标签的差异。最终的损失函数综合了所有样本的分类和坐标误差，为网络的训练提供反馈。