ztxz16/fastllm

fastllm是后端无依赖的高性能大模型推理库。同时支持张量并行推理稠密模型和混合模式推理MOE模型，任意10G以上显卡即可推理满血DeepSeek。双路9004/9005服务器+单显卡部署DeepSeek满血满精度原版模型，单并发20tps；INT4量化模型单并发30tps，多并发可达60+。

在 GitHub 查看

返回列表

Brief / README 摘要

查看原文

English · 快速开始 · --auto 调节指南 · 文档 · Benchmark · 版本日志 FastLLM 是用于本地运行和服务部署的大模型推理引擎，核心运行时使用 C++，不依赖 PyTorch。支持稠密与 MoE 模型、GPU/CPU/NUMA/磁盘混合推理，以及多卡部署。自动部署：使用 --auto 规划设备、内存、专家缓存和上下文，也可覆盖常用参数。浏览器启动器：下载模型、保存配置、查看日志，直接在工作室中对话或使用 Agent。兼容 API：提供 OpenAI Chat Completions、Responses 和 Anthropic Messages 接口。多种权重格式：支持 Safetensors、FastLLM、AWQ 和已适配的 GGUF，具体范围见模型指南。 Linux / Windows + NVIDIA GPU： AMD GPU 见 ROCm 安装；CPU-only 和其他平台见源码安装。安装问题见 FAQ。单机多副本可使用独立的 ftllm deploy 组件，复用原生服务参数，提供后台进程管理和流式请求路由；现有 ftllm serve/server 用法不变。配置与命令见多副本部署。 ftllm server Qwen/Qwen3-0.6B ftllm run Qwen/Qwen3-0.6B ftllm webui --a…

ztxz16/fastllm

Brief / README 摘要

相关推荐