1.从零开始构建向量数据库：Milvus 的数据术源源码编译安装（一）
2.PostgreSQL 技术内幕（十七）：FDW 实现原理与源码解析
3.从连接池的角度阅读 database/sql 包的源码
4.源码详解系列(五) ------ C3P0的使用和分析（包括JNDI）已停更
从零开始构建向量数据库：Milvus 的源码编译安装（一）
在知乎上新开了关于“向量数据库”内容的专栏[1]，本文将详细介绍如何在x和ARM架构的库技Linux系统上编译安装开源项目Milvus，这个项目由Linux Foundation AI & Data基金会支持，码数常与Weaviate和Elasticsearch相提并论[2][3]。据库技术 由于Milvus主要在GitHub进行开发，源码中文网络中关于编译安装的数据术源c 源码示例教程很少，且大多是库技过时的1.x版本资料，而Milvus的码数版本迭代迅速，目前主要提供Docker容器安装，据库技术本地开发者或追求透明度的源码开发者可能会觉得不够友好。本文将从头开始，数据术源逐步引导你进行编译安装。库技前置准备
在开始前，码数需要确保操作系统、据库技术开发环境和必要的源码依赖已经准备妥当。Linux作为主力生产环境，本文将重点介绍在Ubuntu上编译。macOS和Windows上的步骤类似，但这里主要针对Linux。操作系统
推荐使用Ubuntu，无论是服务器、容器基础镜像，还是个人笔记本。具体配置和安装细节可以参考我在其他文章中介绍的《笔记本上搭建Linux学习环境》[6]。开发环境
Milvus主要使用Golang编写，同时包含C++代码。确保Golang和C++环境可用，参考《搭建Golang开发环境》[8]，并注意Milvus官方推荐的源码 视频分享版本。源码获取
获取Milvus源码有两种方式：Git Clone或下载压缩包，其中Git Clone可能需要借助国内镜像加速。具体步骤包括设置代码仓库的上游，确保代码同步。编译基础依赖
项目依赖OpenBLAS加速向量计算，详细安装步骤在《走进向量计算：OpenBLAS编译》[]中有详述。准备构建依赖：cmake
确保cmake版本至少为3.，Ubuntu .需手动安装，而Ubuntu .可直接使用apt。不同版本可能有差异，注意官方文档推荐的版本。额外依赖：clang-format和clang-tidy
项目代码中需要clang-format和clang-tidy，Ubuntu .和.的安装方式各有不同，务必安装正确版本以保持和官方构建一致。编译 Milvus
切换到 Milvus 代码目录，执行make命令编译。整个过程可能耗时，但完成后将在./bin/目录下找到可执行文件。总结
本文详细介绍了在Ubuntu .和.环境中编译安装Milvus的步骤，包括操作系统、开发环境和依赖的安装。后续文章将深入探讨容器镜像构建优化以及在MacOS上的安装指南。 期待你的反馈，如果觉得有用，请点赞和分享。如有任何问题或需要更新，请关注后续内容更新，感谢支持！afl源码分析PostgreSQL 技术内幕（十七）：FDW 实现原理与源码解析
FDW，全称为Foreign Data Wrapper，是PostgreSQL提供的一种访问外部数据源的机制。它允许用户通过SQL语句访问和操作位于不同数据库系统或非数据库类数据源的外部数据，就像操作本地表一样。以下是从直播内容整理的关于FDW的使用详解、实现原理以及源码解析。 ### FDW使用详解 FDW在一定规模的系统中尤为重要，数据仓库往往需要访问外部数据来完成分析和计算。通过FDW，用户可以实现以下场景： 跨数据库查询：在PostgreSQL数据库中，用户可以直接请求和查询其他PostgreSQL实例，或访问MySQL、Oracle、DB2、SQL Server等主流数据库。 数据整合：从不同数据源整合数据，如REST API、文件系统、NoSQL数据库、流式系统等。 数据迁移：高效地将数据从旧系统迁移到新的PostgreSQL数据库中。 实时数据访问：访问外部实时更新的数据源。 PostgreSQL支持多种常见的FDW，能够直接访问包括远程PostgreSQL服务器、主流SQL数据库以及NoSQL数据库等多种外部数据源。### FDW实现原理
FDW的核心组件包括：1. **Foreign Data Wrapper (FDW)**：特定于各数据源的库，定义了如何建立与外部数据源的寻求银行源码连接、执行查询及处理其他操作。例如，`postgres_fdw`用于连接其他PostgreSQL服务器，`mysql_fdw`专门连接MySQL数据库。
2. **Foreign Server**：本地PostgreSQL中定义的外部服务器对象，对应实际的远程或非本地数据存储实例。
3. **User Mapping**：为每个外部服务器设置的用户映射，明确哪些本地用户有权访问，并提供相应的认证信息。
4. **Foreign Table**：在本地数据库创建的表结构，作为外部数据源中表的映射。对这些外部表发起的SQL查询将被转换并传递给相应的FDW，在外部数据源上执行。
FDW的实现涉及PostgreSQL内核中的`FdwRoutine`结构体，它定义了外部数据操作的接口。接口函数包括扫描、修改、分析外部表等操作。### FDW源码解析
FDW支持多种数据类型，并以`Postgres_fdw`为例解析其源码。主要包括定义`FdwRoutine`、访问外部数据源、执行查询、插入、更新和删除操作的逻辑。 访问外部数据源：通过`postgresBeginForeignScan`阶段初始化并获取连接到远端数据源。 执行查询：进入`postgresIterateForeignScan`阶段，创建游标迭代器并从其中持续获取数据。源码网免费 插入操作：通过`postgresBeginForeignInsert`、`postgresExecForeignInsert`和`postgresEndForeignInsert`阶段来执行插入操作。 更新/删除操作：遵循与插入操作相似的流程，包括`postgresBeginDirectModify`、`postgresIterateDirectModify`和相应的结束阶段。 对于更深入的技术细节，建议访问B站观看视频回放，以获取完整的FDW理解和应用指导。从连接池的角度阅读 database/sql 包的源码
本文深入探讨了 Go 语言标准库中 database/sql 包中的连接池实现，该实现旨在优化数据库连接管理，减少资源消耗和提高系统性能。通过数据库抽象，开发者可以使用同一套代码与不同数据库进行交互，只需导入对应的数据库驱动即可。本文将从连接池的角度出发，分析其核心特性与内部工作原理。 连接池是管理连接的复用技术，广泛应用于 CS 架构中，其主要特性包括限制池大小、连接入池、连接出池、按需创建连接、清理过期连接以及统计连接信息。本文将围绕这些特性进行深入剖析。连接池简述
连接池通过预先创建一定数量的数据库连接，提供给应用程序使用，以减少连接创建和关闭的开销。当应用程序需要连接时，从池中获取；任务完成后，将连接放回池中。这样，即使并发请求增加，也不必频繁创建连接，降低了资源消耗。源码解读获取数据库句柄
在 database/sql 包中，`sql.DB` 是对应用程序暴露的数据库句柄，通过 `sql.Open` 函数获取。`sql.Open` 接收驱动名和数据源名称（dsn），从全局的 drivers map 中查找对应的驱动实现，并根据 dsn 的定义来建立连接。一旦获取到驱动实现，将通过其 `Connector` 接口的 `Connect` 方法创建新的连接，并将连接信息保存在 `sql.DB` 结构中。创建或从池中获取连接
`sql.Open` 过程中，连接并未立即建立，而是通过一个后台运行的 goroutine 来管理连接的创建与回收。当应用程序需要与数据库交互时，通过 `sql.DB` 的 `conn` 函数获取连接。这个函数根据连接策略（缓存或创建新连接）和连接池的状态（是否有空闲连接），决定是直接从连接池中获取连接，还是创建新的连接。过期连接清理
数据库连接的可用性并非绝对，网络不稳定等因素可能导致连接不可用。为了解决这个问题，连接池通常采用定期 ping 连接或设置最大可用时长两种方式来检测并清理过期连接。`database/sql` 包中采用了设置最大可用时长的方法，通过 `SetConnMaxLifetime` 和 `SetConnMaxIdleTime` 方法调整清理策略，以保证连接池的健康状态。Tx 和 Stmt 使用连接
对于事务 (`sql.Tx`) 和语句 (`sql.Stmt`)，虽然与普通连接交互类似，但它们具有不同的使用场景。事务需要独占连接，确保操作在同一个连接上完成，以保证事务的一致性和隔离性。而语句则是一个长期存在的实体，通常不会跨 session 使用，因此，连接的管理需要考虑这些特性。`database/sql` 包通过 `DB.beginDC` 和 `DB.prepareDC` 等方法来处理事务和语句的连接使用，确保资源高效利用。统计连接池信息
连接池的统计功能用于监控连接池的状态，包括连接的创建、使用、回收以及过期情况等。这些信息对于优化系统性能和资源管理至关重要。`DB.Stats` 方法提供了当前状态下连接池的快照信息，帮助开发者了解资源使用情况，以便进行优化。 通过本文的分析，我们可以深入了解 `database/sql` 包中连接池的实现细节，以及如何在实际应用中高效管理数据库连接，以提高系统性能和资源利用效率。源码详解系列(五) ------ C3P0的使用和分析（包括JNDI）已停更
c3p0是一个用于创建和管理数据库连接的Java库，通过使用"池"的方式复用连接，减少资源开销。它与数据库源一起提供连接数控制、连接可靠性测试、连接泄露控制、缓存语句等功能。目前，Hibernate自带的连接池正是基于c3p0实现。
在深入学习c3p0的使用和分析之前，我们先来看一下使用示例。假设你想要通过c3p0连接池获取连接对象，然后对用户数据进行简单的增删改查操作。这通常涉及到使用如JDK 1.8.0_、maven 3.6.1、eclipse 4.、mysql-connector-java 8.0.以及mysql 5.7.等环境。
为了创建项目，可以选择Maven Project类型，并打包为war文件，尽管jar包也可以使用，但使用war是为了测试JNDI功能。
接下来，引入日志包，这一步是为了帮助追踪连接池的创建过程，尽管不引入这个包也不会对程序运行造成影响。
为了配置c3p0，通常会使用c3p0.properties文件，这种文件格式相对于.xml文件来说更加直观。在resources目录下，配置文件包含了数据库连接参数和连接池的基本参数。文件名必须是c3p0.properties，这样才能自动加载。
获取连接池和连接时，可以利用JDBCUtil类来初始化连接池、获取连接、管理事务和释放资源等操作。
对于更深入的学习，我们可以从c3p0的基本使用扩展到通过JNDI获取数据源。这意味着在项目中引入了tomcat 9.0.作为容器，并可能增加了相关依赖。通过在webapp文件夹下创建META-INF目录并放置context.xml文件来配置JNDI，从而实现数据源的动态获取。
在web.xml文件中配置资源引用，而在jsp文件中编写测试代码，以验证JNDI获取的数据源是否有效。
总结来看，c3p0通过提供组合式连接池和数据源对象，以及通过JNDI实现动态数据源的获取，大大简化了数据库连接管理和配置过程。同时，它内置的参数配置和连接管理功能，如连接数控制、连接可靠性测试等，为开发者提供了更为稳定和高效的数据库访问体验。
在深入研究c3p0源码时，需要关注类与类之间的关系以及重要功能的实现。c3p0的源码确实较为复杂，尤其是监听器和多线程的使用，这些机制虽然强大，但也增加了阅读和理解的难度。理解这些机制有助于更好地利用c3p0提供的功能，优化数据库连接管理。
在实现数据源创建和连接获取过程中，从初始化数据源到创建连接池，再到连接的获取和管理，c3p0提供了一系列的类和方法来支持这些操作。理解这些步骤和背后的原理，对于高效地使用c3p0和优化数据库性能至关重要。
最后，c3p0的源码分析不仅仅停留在功能层面，还涉及到类的设计、架构和性能优化。这些分析有助于开发者深入理解c3p0的内部工作原理，进而根据实际需求进行定制化配置和优化。
