PD（Placement Driver）作为TiKV的调度中心，通过心跳机制收集集群状态，生成调度建议（Operator），并发送给Region Leader。调度过程异步，Leader可选择执行或跳过建议。PD使用Store心跳提供宏观视图，Region心跳提供精确位置。调度的基本单元是Operator，主要目标是负载均衡和副本管理，决策受限于放置规则和调度限制，以确保系统稳定性。

本文探讨了多表连接的优化策略，包括连接顺序、物理连接算子和分布式连接方法。重点分析了DuckDB和Trino的连接规划，比较了Hash Join和Merge Join的性能，并介绍了动态分区裁剪（DPP）和数据倾斜问题的解决方案。最后，总结了连接规划的关键要素和未来研究方向。

本文讨论了Flink DataStream API的工作原理，包括作业结构、数据流转换、shuffle策略及其对性能的影响。重点介绍了keyBy操作、ProcessFunction的使用及定时器注册，强调了状态管理在流处理中的重要性，并通过示例展示了事件时间和窗口聚合的处理，简要说明了Flink 2.x版本。

本文讨论了GPU访存优化的两个关键问题：合并访问和bank冲突。合并访问通过相邻线程访问相邻地址来提高带宽，而bank冲突是多个线程访问同一bank导致的性能下降。使用padding和向量化技术可以进一步提升带宽利用率。在矩阵转置操作中，使用shared memory可以有效解决访存模式问题。

本文探讨了GPU中的驻留率（occupancy）及其对延迟隐藏的重要性。高驻留率并不总是意味着高性能，实际有效带宽在驻留率达到33%时已饱和。提高驻留率可能导致寄存器溢出，从而降低性能。计算密集型内核可通过指令级并行（ILP）实现高效，而不依赖于高驻留率。应平衡驻留率与寄存器使用，避免盲目追求高驻留率。

Roofline模型用于判断算子是计算密集型还是内存密集型，算术强度（AI）是关键指标，定义为浮点运算数与内存搬运字节数之比。通过双对数图，Roofline展示了性能与算术强度的关系，分为带宽限制区和算力限制区。优化策略包括提高算术强度，采用算子融合和tiling等方法，以减少内存访问并提升性能。

本文介绍了NVIDIA的两个调优工具：Nsight Systems和Nsight Compute。Nsight Systems用于分析程序的时间线，找出占用时间最多的kernel；而Nsight Compute则深入分析单个kernel的性能瓶颈。优化流程是先用Systems定位热点，再用Compute分析原因，如访存延迟或计算瓶颈。在没有完整工具链时，可使用CUDA event进行轻量测量。最终目标是提升GPU性能，优化计算效率。

归约是将数组压缩为标量的基本操作，优化归约的关键在于消除分支发散和bank conflict。通过比较三种版本，顺序寻址和warp shuffle显著提高性能。单遍归约受访存限制，优化需针对真实瓶颈。跨block合并可用两趟kernel或原子加。scan比归约复杂，建议使用CUB库。

GEMM（通用矩阵乘）是深度学习中的关键计算。通过优化实现，从朴素实现到共享内存和寄存器分块，显著提高了算术强度。寄存器分块的性能达到6375 GFLOP/s，接近FP32峰值的39%。未来的优化方向包括向量化、预取和更大的tile设计。

Tensor Core 是专用的矩阵计算单元，利用 MMA 指令实现高效的矩阵乘加运算。FP16 Tensor Core 的吞吐量可达 72.8 TFLOP/s，显著高于 FP32 的 16 TFLOP/s。使用 Tensor Core 时，数据传输速度常成为瓶颈，因此需要优化数据布局和访存策略。CUDA 的 wmma API 简化了 Tensor Core 的使用，而高性能库如 CUTLASS 则能更精细地控制数据布局。

CUTLASS 是 NVIDIA 开源的 CUDA C++ 模板库，旨在优化 GEMM（矩阵乘法）性能。它将 GEMM 拆分为五层结构，支持多种精度和形状的配置。通过模板化设计，CUTLASS 提供高性能的可复用组件，简化布局管理。CuTe 作为统一的布局代数，提升了编程的灵活性和可维护性。

本文讨论了softmax和LayerNorm等内存绑定算子的优化方法。softmax通过减去最大值来避免数值溢出，在线softmax则通过增量维护最大值和总和来减少遍数。LayerNorm采用Welford算法进行单遍均值和方差计算。逐元素融合技术将多个操作合并为一个kernel，显著减少访存次数，提高性能。整体优化策略强调数值稳定性和减少访存。

FlashAttention通过分块在线softmax优化Transformer的注意力机制，显著降低显存和计算速度瓶颈。它采用流式计算，避免物化整个分数矩阵，减少内存访问，提高效率。实测表明，FlashAttention在长序列处理上具有显著优势，并在反向传播时通过重算降低显存需求。

Triton 是一种新型编程模型，简化了深度学习算子的开发。它通过编译器自动处理访存合并、共享内存管理和指令调度，减少了手动编码的复杂性。Triton 采用 tile 视角，允许开发者专注于数据块的处理，配合 autotune 功能自动优化配置，提升性能。总体而言，Triton 提高了开发效率，适合大多数自定义算子，但在极限性能和特定场景下仍需使用 CUDA。

本文讨论了Kernel Fusion技术，强调其在减少HBM往返和提升memory-bound算子性能方面的重要性。通过将相邻算子合并为一个kernel，减少数据搬运，实验证明加速比随融合链长度线性增长。融合类型包括逐元素融合和归约融合，但在中间结果复用和资源不足的情况下需谨慎使用。现代编译器如PyTorch和TensorFlow自动化融合过程，以提高效率。

低精度算子（如INT8/FP8）在大模型推理和训练中至关重要，能够显著减少访存和提高算力。量化通过将浮点值映射到低位宽整数，采用对称或非对称量化方式。粒度选择影响精度，per-channel量化能更好保留精度。反量化应尽量晚进行，以减少精度损失。设计时需注意累加精度、舍入方式一致性和离群值处理等问题，以确保数值正确性。

本文讨论了在多卡训练中通过重叠通信与计算提高效率的方法。重叠分为三个层次：第一层使用cp.async在内核内实现异步加载，第二层通过CUDA流实现内核间的并发，第三层利用NCCL在分布式环境中实现通信与计算的重叠。重叠可以隐藏等待时间，但也会导致资源争抢和同步开销。

算子库工程涉及多个kernel的选择与优化，主要包括dispatch和autotune机制。dispatch根据形状、精度和架构选择最佳kernel，autotune通过实测候选配置优化性能。JIT编译按需生成特定kernel，提高效率，但需缓存编译结果以减少延迟。此外，算子库需关注正确性回归和版本管理，以确保稳定性和可维护性。