Llama.cpp 服务器安装指南（使用 Docker，GPU 专用）
前置条件
在开始之前，请确保你的系统满足以下要求：
- 操作系统：Ubuntu 20.04/22.04（或支持 Docker 的 Linux 系统）。
- 硬件：NVIDIA GPU（例如 RTX 4090）。
- 内存：16GB+ 系统内存，GPU 需 12GB+ 显存（RTX 4090 有 24GB）。
- 存储：15GB+ 可用空间（用于源码、镜像和模型文件）。
- 网络：需要互联网连接以下载源码和依赖。
- 软件：
- 已安装并运行 Docker。
- 已安装 NVIDIA Container Toolkit 以支持 GPU。
第一步：安装 Docker 和 NVIDIA Container Toolkit
安装 Docker
-
更新软件包列表
