MLX.fast

MLX.fast 是一个专为 Mac 设计的推理加速引擎，针对 Poolside 的 Laguna 模型进行了优化。它利用 MLX 框架和 Metal 性能着色器，在 Apple Silicon 芯片上通过算子融合、内存优化和并行计算实现显著加速，相比标准 MLX 推理提速数倍。

需要搭载 Apple Silicon（M1 或更新芯片）的 Mac 电脑，macOS 14.0 或更高版本，并安装 MLX 框架（≥0.20.0）及 MLX.fast 库。Laguna 模型权重需从 Poolside 官方仓库获取，并转换为支持的格式。

MLX.fast 针对 Laguna 模型定制了内核调度和内存布局，减少了数据搬运和显存占用；支持动态批处理和量化推理（如 4-bit），在保持精度前提下提升吞吐量；同时利用统一内存架构免去了 CPU-GPU 间数据拷贝开销。