B. 小北问答 -- 超速版¶

分数：100 分

1. Amdahl & Gustafson¶

📝 答题格式：填数字

某程序的代码中 10% 必须串行执行，90% 可完美并行。

• 根据 Amdahl's Law，无论核心数如何增加，该程序的理论最大加速比极限是 ____ 倍；
• 若在 10 核系统中通过扩大问题规模来保持每核计算负载不变，根据 Gustafson's Law，该系统的加速比将达到 ____ 倍。

2. OpenMP¶

📝 答题格式：填大写字母（A/B/C/D）

以下代码使用 OpenMP 并行执行循环：

int sum = 0;
#pragma omp parallel for
for (int i = 0; i < 100; i++) {
    sum += i;
}
printf("sum = %d\n", sum);

关于这段代码，下列说法正确的是：

3. 低精度¶

📝 答题格式：填数字

已知 IEEE 754 标准的 FP32 拥有 8 位指数位。请问：

• BF16 拥有 ____位指数位，____ 位尾数位
• NVFP4 拥有 ____位指数位，____ 位尾数位

💡 提示：可以查阅资料，了解 NVFP4 如何在低精度下保持较高的数值范围和动态范围。

4. MPI 通信¶

📝 答题格式：填一行代码（分号结尾，区分大小写，空白会被忽略）

💡 MPI 常量可以使用，如 MPI_COMM_WORLD、MPI_INT 等。

4.1 基本原语¶

4 个进程执行以下代码，每个进程有局部值 local_val，操作后每个进程都有所有进程的值。

int rank;
MPI_Comm_rank(MPI_COMM_WORLD, &rank);
int local_val = rank; // rank 为进程编号，0~3
int recv_buf[4];
/* 填这一行代码 */

4.2 通信器¶

创建一个 2 维笛卡尔拓扑，尺寸为 2×2，行优先排列，允许环绕连接。

⚠️ 注意：如果某些值取任何值均可，任意填写即可。

MPI_Comm comm_cart;
int dims[2] = {2, 2};
int periods[2] = {1, 1}; // 环绕连接
/* 填这一行代码 */

5. NCCL 延迟¶

📝 答题格式：填数字

在深度学习的并行推理与训练中，进程之间会频繁进行集合通信操作。 NVIDIA 的开源集合通信库 NCCL，提供了在 GPU 之间进行集合通信的高性能解决方案。

当在异构的硬件上进行大规模集合通信时，如何选择通信的算法将很影响集合通信操作的效率。为了解决这个问题，NCCL 的解决方案是：基于一套硬编码的调优常数，估算不同集合通信算法下的集合通信完成时间，由此选择最优的算法。

问题：在 NCCL 2.28 的默认调优常量中，用 NVLink 连接的两 GPU 、采用 Tree 算法和 LL 协议时，在估算时每跳（单步）的硬件延迟取值为 ______ µs 。

💡 NCCL 用这类静态常数估算不同算法/协议的完成时间并做选择，这种静态建模也成为后续优化工作的切入点。

6. 高性能网络¶

📝 答题格式：不定项选择，多选少选错选都不得分

填大写字母，中间不加空格等符号，如 ABCDEFG

Rail-optimized networking与Clos 都是高性能网络设计方案。以下说法正确的有：

7. GPU¶

📝 答题格式：不定项选择，多选少选错选都不得分

填大写字母，中间不加空格等符号，如 ABCDEFG

NVIDIA 的 Hopper 架构引入了 TMA（Tensor Memory Accelerator） 以提升 GPU 内存访问效率。以下说法正确的有：

8. LLM¶

📝 答题格式：填三个数，空格分隔

对于参数如下的一个标准的 Transformer-Decoder模型，所有的 all reduce 操作都使用 ring all reduce 。假设一共有4 张卡。

模型参数¶

问题¶

请计算在以下三种并行方式下，进行一个 batch 的前向传播和反向传播，每张卡需要的发送量（以 GB 为单位）：

1. 数据并行：每张卡上存放完整的模型，把 batch 均匀拆分到每张卡上，分别计算完成后对梯度进行 All-Reduce 操作

2. 流水并行：按层拆分模型放到不同卡上，只需要前向传播的时候发送 activation，反向传播的时候发送 gradient 。（计算通信量时只考虑中间的卡）

3. 张量并行：对于 MHA 操作，按照 head 拆分到不同卡上。对于 FFN，第一个线性层按照输出维度进行拆分，第二个线性层按照输入维度进行拆分

9. UB 互联¶

📝 答题格式：填三个数

在高性能计算系统中，集合通信（Collective Communication）的性能主要受带宽（Bandwidth） 与延迟（Latency） 两个因素制约。

NVIDIA 通过 NVLink 与 NVSwitch 构建 GPU 间的高速 Scale-up 互联网络，而华为则提出了 Unified Bus（UB）协议，作为面向 NPU 的统一互联与内存访问机制。 UB 协议基于华为自研的 UB Switch 交换芯片，并通过高带宽物理链路 HCCS（High-Capacity Coherent System） 进行连接。

传统 AI 集群通常以 8 卡服务器为基本单元进行 Scale-out 扩展，而华为在 CloudMatrix 384（CM384）架构中，通过两级 UB Switch 组网，将384 颗昇腾 910C NPU 构建为一个统一的超节点（SuperPod）。在该超节点范围内，所有 NPU 均处于同一个低延迟的轨道优化网络中，实现全对等 Scale-up 互联。

CM384 进一步将 UB 网络划分为 7 个相互独立的物理平面。每颗 NPU 的 7 个 HCCS 接口分别接入不同的交换平面，从而保证大规模并行通信过程中，数据流在物理路径上完全隔离、无链路冲突。

问题¶

在 CloudMatrix 384 的标准满配部署方案中，为了支撑 384 颗昇腾 910C NPU 实现无收敛、全对等的 Scale-up 互联，系统采用两级交换架构。在该超节点的物理拓扑中，分别使用了：

• ____ 个 Level 1 UB Switch
• ____ 个 Level 2 UB Switch
• 最终实现了理论上 ____ GB/s 的系统级聚合带宽

💡 假设 switch chip 提供的单个 Port 可以提供 28GB/s 的通信带宽

10. Cache 行为分析¶

📝 答题格式：填大写字母（A/B/C/D）

假设我们需要进行一个矩阵乘法 $C = A \times B$。

测试环境¶

为了简化分析，假设：

代码实现¶

// 假设变量 sum 已优化到寄存器中，忽略 C 的访存影响
// 仅考虑内层循环中 A 和 B 的读取
for (int j = 0; j < 64; ++j) {       // Loop 1
    for (int i = 0; i < 64; ++i) {   // Loop 2
        double sum = 0.0;
        for (int k = 0; k < 64; ++k) { // Loop 3
            sum += A[i][k] * B[k][j];
        }
        C[i][j] = sum;
    }
}

问题 10.1¶

我们试图分析上述代码中最内层循环 Loop 3 对矩阵 $B$ 的访存行为。

已知 Cache 总共有 $S = 4096 / 64 = 64$ 个 Set 。

在计算 $C[i][j]$ 的过程中（即一次完整的 Loop 3），关于 $B[k][j]$ 的 Cache Miss Rate（不命中率），下列说法正确的是：

💡 提示：计算一下访问 $B[k][j]$ 和 $B[k+1][j]$ 时的内存地址差值（Stride），以及它们映射到的 Set Index 的跨度。

问题 10.2¶

为了进一步提升矩阵乘法的效率，我们决定使用分块技术。你将矩阵分成了 $8 \times 8$ 的小块（Block Size = 8）。

// 8x8 分块优化演示
for (int jj = 0; jj < 64; jj += 8) {
    for (int ii = 0; ii < 64; ii += 8) {
        for (int kk = 0; kk < 64; kk += 8) {
            // 在这里处理 8x8 的子块乘法
            for (int j = jj; j < jj + 8; ++j) {
                for (int i = ii; i < ii + 8; ++i) {
                     double sum = C[i][j]; // 简化写法
                     for (int k = kk; k < kk + 8; ++k) {
                         sum += A[i][k] * B[k][j];
                     }
                     C[i][j] = sum;
                }
            }
        }
    }
}

针对一个 $8 \times 8$ 的 $B$ 矩阵子块（假设该子块已预加载），在处理该子块内部的计算时，关于其在 L1 Cache 中的状态，下列分析正确的是：