inclusionAI 发布高性能量化推理 GEMM 内核库 Humming

Humming 是一个高性能、轻量且高度灵活的 JIT（即时）编译 GEMM 内核库，专为量化推理而设计。

核心特性

High Flexibility
- 支持在 FP16 / BF16 / FP8 / FP4 / INT8 / INT4 激活值下对任何 8 位以下的权重类型进行推理（前提是激活值的动态范围覆盖该权重类型）。
- 支持多种量化策略。
- 支持多种 scale 类型（BF16、FP16、E4M3、E5M2 和 UE8M0）。
- 同时支持 Dense GEMM 和 MoE GEMM。
高兼容性：支持从 SM75+（Turing 架构）及以上的所有 NVIDIA GPU。
High Performance
- 在广泛的计算场景中提供 SOTA（State-of-the-Art）级别的吞吐量和效率。
Ultra-Lightweight
- 极少的依赖：仅需 PyTorch 和 NVCC。
- 紧凑的体积：包大小仅为 100+KB。

支持矩阵

激活类型	支持的设备	支持的权重类型
FP16（e5m10）	SM75+	• 对称 INT1-8 • 带动态零点的 INT1-8 • 任意有符号 FP（kBits ≤ 8，kExp ≤ 5）
BF16（e8m7）	SM80+	• 对称 INT1-8 • 带动态零点的 INT1-8 • 任意有符号 FP（kBits ≤ 8）
FP8（e4m3）	SM89+	• 对称 INT1-5 • 带动态零点的 INT1-4 • 任意有符号 FP（kExp ≤ 4，kMan ≤ 3）
FP8（e5m2）	SM89+	• 对称 INT1-4 • 带动态零点的 INT1-3 • 任意有符号 FP（kExp ≤ 5，kMan ≤ 2）
FP4（e2m1）	SM120+	• 对称 INT1-3 • 带动态零点的 INT1-2 • 任意有符号 FP（kExp ≤ 2，kMan ≤ 1）
INT8	SM75+	• 对称 INT1-8 • 带动态零点的 INT1-7
INT4	SM80+	• 对称 INT1-4 • 带动态零点的 INT1-3

快速开始

安装

pip install git+https://github.com/inclusionAI/humming.git

使用示例

import torch
from humming.layer import HummingLayer

layer = HummingLayer(
    shape_n=8192,
    shape_k=8192,
    weight_config={"dtype": "int6"},
    torch_dtype=torch.float16,
).cuda()

weight = torch.randn((8192, 8192), dtype=torch.float16, device="cuda:0")
inputs = torch.randn((128, 8192), dtype=torch.float16, device="cuda:0")

# Load unquantized weight and quantize to layer quantization format
layer.load_from_unquantized(weight)
# Transform weight to humming format and prepare default kernels
layer.transform()

# Run quantized GEMM (tuning_config is optional, auto-selected by default)
output = layer(inputs)

print("Quantized GEMM Output:")
print(output)
print("\nReference Output:")
print(inputs.matmul(weight.T))

致谢

本项目深受以下项目的启发

DeepGEMM
Marlin Kernel 和 vLLM Marlin Kernel
lmdeploy GEMM kernel
CUTLASS