如何产出/configs/system/a100_pcie.json

[lingshuangjiang02]

你好！我在尝试配置项目时，发现仓库里并没有明确说明如何生成/configs/system/a100_pice.json，如果将项目用于其他类型卡，如何获取该配置？

[sherry-huang-997]

我们提供了一套N卡上单算子在不同shape下的计算效率标准测试流程，在后续版本中会开源出来。

[lingshuangjiang02]

你好，感谢回复！ 现有问题想请教： 我在4张卡上，用Megatron-LM框架进行不同并行策略的训练，使用模型llama3-8B（trim to 8 layers）， 得到的耗时结果iteration_time和simumax估算出的耗时指标进行比较，差距在20%左右，两边的参数都是对其的， 这与你们提供的耗时指标在6%误差内相差甚远， 想定位原因在哪里，能提供指导吗？谢谢。 同时在模拟过程中发现simumax代码的部分问题，不知道有没有群能进行沟通？谢谢 原始邮件 发件人：sherryhuang-mt ***@***.***> 发件时间：2025年12月1日 16:53 收件人：MooreThreads/SimuMax ***@***.***> 抄送：lingshuangjiang02 ***@***.***>, Author ***@***.***> 主题：Re: [MooreThreads/SimuMax] 如何产出/configs/system/a100_pcie.json (Issue #5) sherry-huang-997 left a comment (MooreThreads/SimuMax#5) 我们提供了一套N卡上单算子在不同shape下的计算效率标准测试流程，在后续版本中会开源出来。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.

[sherry-huang-997]

目前还没有相关的群组讨论，如后续有相关群组会在github更新。后续的讨论和答疑我会在issue上进行回复。
我们在A100上校准测试使用的环境：
te:https://github.com/NVIDIA/TransformerEngine/tree/release_v2.1
megatron-lm: https://github.com/NVIDIA/Megatron-LM/releases/tag/v0.12.0rc3
N卡相关硬件/软件环境：
NCCL： nvidia-nccl-cu12 2.21.5
A100_pcie详细信息在附件详细列出。

Product Name                          : NVIDIA A100 80GB PCIe
Product Brand                         : NVIDIA
Product Architecture                  : Ampere
Display Mode                          : Enabled
Display Active                        : Disabled
Persistence Mode                      : Disabled
Addressing Mode                       : None
MIG Mode
    Current                           : Disabled
    Pending                           : Disabled
Accounting Mode                       : Disabled
Accounting Mode Buffer Size           : 4000
Minor Number                          : 0
VBIOS Version                         : 92.00.68.00.01
Inforom Version
    Image Version                     : 1001.0230.00.03
    OEM Object                        : 2.0
    ECC Object                        : 6.16
    Power Management Object           : N/A
Inforom BBX Object Flush
    Latest Timestamp                  : N/A
    Latest Duration                   : N/A
GPU Operation Mode
    Current                           : N/A
    Pending                           : N/A
GSP Firmware Version                  : 535.171.04
GPU Virtualization Mode
    Virtualization Mode               : None
    Host VGPU Mode                    : N/A
GPU Reset Status
    Reset Required                    : No
    Drain and Reset Recommended       : No
IBMNPU
    Relaxed Ordering Mode             : N/A
PCI
    Bus                               : 0x34
    Device                            : 0x00
    Domain                            : 0x0000
    Device Id                         : 0x20B510DE
    Bus Id                            : 00000000:34:00.0
    Sub System Id                     : 0x153310DE
    GPU Link Info
        PCIe Generation
            Max                       : 4
            Current                   : 4
            Device Current            : 4
            Device Max                : 4
            Host Max                  : 4
        Link Width
            Max                       : 16x
            Current                   : 16x
    Bridge Chip
        Type                          : N/A
        Firmware                      : N/A
    Replays Since Reset               : 0
    Replay Number Rollovers           : 0
    Tx Throughput                     : 0 KB/s
    Rx Throughput                     : 0 KB/s
    Atomic Caps Inbound               : N/A
    Atomic Caps Outbound              : N/A
Fan Speed                             : N/A
Performance State                     : P0
Clocks Event Reasons
    Idle                              : Not Active
    Applications Clocks Setting       : Not Active
    SW Power Cap                      : Not Active
    HW Slowdown                       : Not Active
        HW Thermal Slowdown           : Not Active
        HW Power Brake Slowdown       : Not Active
    Sync Boost                        : Not Active
    SW Thermal Slowdown               : Not Active
    Display Clock Setting             : Not Active
Sparse Operation Mode                 : N/A
FB Memory Usage
    Total                             : 81920 MiB
    Reserved                          : 869 MiB
    Used                              : 1344 MiB
    Free                              : 79706 MiB
BAR1 Memory Usage
    Total                             : 131072 MiB
    Used                              : 6 MiB
    Free                              : 131066 MiB
Compute Mode                          : Default
Retired Pages
    Single Bit ECC                    : N/A
    Double Bit ECC                    : N/A
    Pending Page Blacklist            : N/A
Remapped Rows
    Correctable Error                 : 0
    Uncorrectable Error               : 0
    Pending                           : No
    Remapping Failure Occurred        : No
    Bank Remap Availability Histogram
        Max                           : 640 bank(s)
        High                          : 0 bank(s)
        Partial                       : 0 bank(s)
        Low                           : 0 bank(s)
        None                          : 0 bank(s)
Temperature
    GPU Current Temp                  : 41 C
    GPU T.Limit Temp                  : N/A
    GPU Shutdown Temp                 : 92 C
    GPU Slowdown Temp                 : 89 C
    GPU Max Operating Temp            : 85 C
    GPU Target Temperature            : N/A
    Memory Current Temp               : 53 C
    Memory Max Operating Temp         : 95 C
GPU Power Readings
    Power Draw                        : 69.97 W
    Current Power Limit               : 300.00 W
    Requested Power Limit             : 300.00 W
    Default Power Limit               : 300.00 W
    Min Power Limit                   : 150.00 W
    Max Power Limit                   : 300.00 W
Clocks
    Graphics                          : 1410 MHz
    SM                                : 1410 MHz
    Memory                            : 1512 MHz
    Video                             : 1275 MHz
Applications Clocks
    Graphics                          : 1410 MHz
    Memory                            : 1512 MHz
Default Applications Clocks
    Graphics                          : 1410 MHz
    Memory                            : 1512 MHz
Deferred Clocks
    Memory                            : N/A
Max Clocks
    Graphics                          : 1410 MHz
    SM                                : 1410 MHz
    Memory                            : 1512 MHz
    Video                             : 1290 MHz
Max Customer Boost Clocks
    Graphics                          : 1410 MHz
Clock Policy
    Auto Boost                        : N/A
    Auto Boost Default                : N/A
Voltage
    Graphics                          : 893.750 mV
Fabric
    State                             : N/A
    Status                            : N/A

我们校准llama3-8b时使用的是全量32层模型，使用8层llama3-8b估计误差变大的一个可能原因是simumax对优化器部分(包括dp通信，adam等）的估计还不够准确，8层模型对比于与32层模型这部分误差被放大了。

另外如果您们给定的mbs不为1则需要排查一下simumax是否全部命中了你们超参配置下的算子shape（即是否能在a100_pcie.json中查找到matmul/sdp等算子在实际计算 shape下的计算效率）。

另一种定位详细误差来源的方法是 结合pytorch的profiler工具导出实际训练中的trace数据，与simumax 产出的model_arch文件中各个module的fwd/bwd时间进行逐一对比，优化器部分可对比compute_result.json中compute_details->optim_time 和 comm_details->dp_comm_time两部分耗时。

simumax代码部分的问题请先在issue中指出，感谢！
如不能及时回复请联系：sherry_sicnu@163.com

[sherry-huang-997]

关于a100_pcie.json文件生成的补充：
该配置文件主要包含算子计算效率和pcie通信效率；我们有一套N卡上标准的测试算子计算效率的脚本，可以自动生成符合SimuMax要求的system.json文件，其中通信效率部分通过手动对nccl测试结果进行线性拟合得到。该测试脚本大约会在下周开源。

如何在其它类型卡上使用Simumax进行评估？
只需根据硬件配置给定参考a100_pcie.json给定默认的标称算力、默认计算效率、存储、机内和机间通信带宽即可。system.json的详细构建规则也会在后续开源版本中给出。
进一步，如需得到更为准确的评估，则建议参考我们的测速脚本，细化到每个算子每个shape的计算效率或通过拟合的方式得到更细粒度的算子计算效率 和 不同通信算子的通信效率。

另外在我们实测llama3时，没有开启ce-fusion，关掉了tp-overlap（实测开启会降速）， 具体的测试脚本也会在后续开源版本中给出。

在mbs=1, mbc=32时，a100_pcie和SimuMax评估结果的详细对比数据供参考：
#