今日三荐：字形查找表、向量近邻图与时间块索引

1. harfbuzz：一串字符怎样变成几个字形

为什么今天看

最值得拆的机制

• 输入是码点串，输出是字形加位置。 负责这一步的程序叫 shaper，它按书写系统的规则，把一串 Unicode 码点排成二维的字形布局。3
• 第一张表把码点换成字形号。 cmap 给出每个码点对应的字形；标准格式的字形号是 16 位，一个字体最多 65,535 个字形。15.0.0 扩的正是这道墙。
• 第二张表管替换。 GSUB 把几个字形换成一个连字，或者换成上下文里的另一种形态。
• 第三张表管位置。 GPOS 负责字距与位置微调，本机看到的字距差就出在这里。
• 输出里第二个数字是 cluster。 它把每个输出字形标回输入里的位置；组合附加符号会和它的基字并进同一个 cluster。3

$ hb-shape DejaVuSans.ttf "AV"
[A=0+1270|V=1+1401]

$ hb-shape --features=-kern DejaVuSans.ttf "AV"
[A=0+1401|V=1+1401]

$ hb-shape DejaVuSans.ttf "ffi"
[uniFB03=0+1980]

$ hb-shape DejaVuSans.ttf "مرحبا"
[uniFE8E=4+624|uniFE92=3+618|uniFEA3=2+1266|uniFEAE=1+1130|uniFEE3=0+1097]

复现难度：中

最小上手路径

curl -LO https://github.com/harfbuzz/harfbuzz/archive/refs/tags/15.0.0.tar.gz
tar xzf 15.0.0.tar.gz && cd harfbuzz-15.0.0
pip install meson ninja
meson setup build --buildtype=release -Ddocs=disabled
ninja -C build
./build/util/hb-shape --version

今晚练习

1. 关掉一项特性看数字。 同一条字符串加 --features=-kern，对比每个字形的步进；把 kern 换成 liga，连字会重新变回三个字形。
2. 看 cluster 怎么合并。 输入 a + U+0301 + b，输出是 [aacute=0+1255|b=2+1300]：附加符号并进了基字的 cluster 0，b 留在 2。
3. 裁一份字体。 hb-subset DejaVuSans.ttf --text="Hello 世界" -o sub.ttf，759,720 字节变成 4,316 字节。再 shape 一次 Hello，字形号从 gid2 重新编号，两个 l 共用 gid4。
4. 换一种字体覆盖不到的文字。 天城文在 DejaVu Sans 里全被排成 .notdef，说明 shaping 依赖字体真的带那些字形，算法补齐不了。

版本动作与限制

• 装 15.0.0；许可证是 HarfBuzz 自己的 Old MIT 文本，GitHub 的许可证识别给的是 NOASSERTION。4
• hb_font_set_face() 从这一版起弃用，升级后改用 hb_font_create()。1
• 24 位字形号要字体里真的写进新表才生效；旧字体读进来还是 16 位。
• 官方给的 beyond-64k 测试字体放在 Google Drive，要试得单独下载。
• 三个渲染库转正意味着 ABI 从此稳定；如果项目之前直接用过它们的实验接口，升级时要按发布说明逐条对。

2. qdrant：两万个向量怎样排出近邻

为什么今天看

最值得拆的机制

• HNSW 是一张分层的图。 越上层越稀疏、跨度越大；搜索从最高层下来，一层层逼近目标。8
• m 限制每层的最大度数，默认 16。8
• ef 是搜索时的候选范围。 建索引时用 ef_construct（默认 100），查询时用 ef，默认跟着 ef_construct 走。8
• 小集合根本不建图。 full_scan_threshold 默认 10,000 KB，查询计划估出的候选量小于它就改走全扫。8
• 数据类型与量化是两件事。 数据类型决定原向量怎么存；量化另存一份压缩表示，可先拿它挑候选，再用原向量重打分。7
• 图可以顺着过滤条件长边。 payload 索引先建好，HNSW 建图时会把过滤条件织进图里；建晚了得改一次 ef_construct 触发重建。8

复现难度：中低

最小上手路径

curl -LO https://github.com/qdrant/qdrant/releases/download/v1.20.0/qdrant-x86_64-unknown-linux-gnu.tar.gz
tar xzf qdrant-x86_64-unknown-linux-gnu.tar.gz
QDRANT__STORAGE__STORAGE_PATH=./qd ./qdrant

$ curl -s http://127.0.0.1:6333/
{"title":"qdrant - vector search engine","version":"1.20.0","commit":"222b2e4…"}

今晚练习

1. 先看阈值。 用默认配置灌同样的数据，indexed_vectors_count 停在 0：两万个 128 维向量只占十兆左右，够不上 10,000 KB 的全扫优先线。
2. 改 ef 看召回。 40 条查询，ef = 16 时 recall@10 是 0.970，ef = 32 起回到 1.000。
3. 拿全扫做基线。 同样的查询加 "exact": true，服务端 0.46 ms；走图时 0.07 ms，差六倍多。
4. 换成 turbo8 再跑。 同一批查询在 ef = 64 时 recall@10 是 0.980：一维一字节，换掉 2% 的召回。
5. 建一个按数组元素的索引。 {"field_name": "offers[].shop", "field_schema": {"type": "keyword", "nested": "offers"}}。嵌套过滤里的键要写相对路径（shop、price），照抄 offers[].shop 一条都匹配不上——本机是 4,000 对 0。

版本动作与限制

• 装 v1.20.0，许可 Apache-2.0。9
• m = 16 的集合升级后图会小一截，重建索引能吃到这个改动。
• payload 索引要在灌数据之前建好，才能拿到 filter-aware 的边。8
• turbo8 用召回换内存；对召回敏感的场景先在真实查询上量一遍再切。

3. prometheus：每条指标落在哪个两小时块里

为什么今天看

最值得拆的机制

• 它主动去抓。 Prometheus 按 scrape_interval 定时请求目标暴露的文本；本机配成每秒抓一次自己。13
• 样本先落进 head block。 当前两小时的数据在内存里，靠 WAL 兜住崩溃；WAL 按 128 MB 分片，至少保留三个。13
• 两小时后写成一个块。 每块一个目录：chunks/ 存这个时间窗里的样本，index 把指标名和标签映射到序列，meta.json 记块的元信息。13
• 块还会被压实。 相邻的两小时块合成长块，最长覆盖保留期的 10% 或 31 天，取小的那个。13
• 每样本的字节能压到 1–2 字节。 官方给的空间规划公式是：保留秒数 × 每秒摄入样本数 × 每样本字节数；要降量，减少序列数比拉长抓取间隔更有效，因为同一条序列内的样本会被压在一起。13

复现难度：低

最小上手路径

cat > prom.yml <<'YAML'
global:
  scrape_interval: 1s
scrape_configs:
  - job_name: prometheus
    static_configs:
      - targets: ['127.0.0.1:9090']
YAML

./prometheus --config.file=prom.yml --storage.tsdb.path=./prom-data

$ curl -s 'http://127.0.0.1:9090/api/v1/query?query=prometheus_tsdb_head_series' | jq -r '.data.result[0].value[1]'
704

今晚练习

1. 先看目录。 prom-data 下只有 chunks_head/ 和 wal/，两小时块还没到落盘的时候。
2. 自己造一个块。 写一份 OpenMetrics（时间戳按秒），用 promtool tsdb create-blocks-from openmetrics synthetic.om blocks 回填。本机 720,000 个样本、200 条序列、每条 3,600 个点，生成一个块用了 0.67 秒。
3. 量每样本字节数。 同一批 72 万个点的 gauge，块是 4,884,586 字节，折合 6.78 字节一个样本；换成单调递增的计数器，块只有 1,177,831 字节，1.64 字节一个样本。官方说的 1–2 字节，对应的是后面这种曲线。13
4. 拆开一个块看结构。 promtool tsdb analyze blocks 会打印序列数、标签名与 postings：本机 200 条序列、3 个标签名、205 组唯一标签对；720,000 个样本被切成 6,200 个 chunk。
5. 读回原始样本。 promtool tsdb dump blocks 逐行打印时间戳与数值，和 PromQL 查出来的结果对得上。

版本动作与限制

• 换 v3.15.1，许可 Apache-2.0。14
• 这次证书改动会影响访问使用 emSign 或 Comodo 证书链的 HTTPS 目标，抓取这类目标前先确认一下。10
• 本地存储不集群也不复制，单机的容量与持久性就是上限。13
• 存储目录不能放在 NFS 这类非 POSIX 文件系统上，官方列了数据损坏的风险。13
• 两小时的块意味着刚写入的数据只存在于 WAL 与 chunks_head/ 里，备份要按文档走快照。13

怎么选今晚的第一条路径