如何部署和使用LLM-Quick轻量级大语言模型

1# 更新系统包
2sudo apt update && sudo apt upgrade -y
3
4# 安装Python及工具
5sudo apt install -y python3.10 python3.10-venv python3.10-dev git
6
7# 安装pip并升级
8python3.10 -m ensurepip --upgrade
9pip install --upgrade pip setuptools wheel
10
11# 安装CUDA（GPU用户，可选官方脚本）
12curl -fsSL https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb -o cuda-keyring.deb
13sudo dpkg -i cuda-keyring.deb
14sudo apt install -y cuda-toolkit-12.2

1# 1. 创建虚拟环境
2python3.10 -m venv llm-quick-env
3source llm-quick-env/bin/activate  # Windows: llm-quick-env\Scripts\activate
4
5# 2. 安装LLM-Quick核心包
6pip install llm-quick==1.0.2  # 2026最新稳定版
7
8# 3. 下载量化模型权重（4bit，约4GB）
9llm-quick download --model llm-quick-10b-4bit --dir ./models
10
11# 4. 启动本地推理服务
12llm-quick serve --model-path ./models/llm-quick-10b-4bit --port 8000

1# 1. 拉取官方镜像
2docker pull llmquick/llm-quick:1.0.2
3
4# 2. 启动容器（映射模型目录和端口）
5docker run -d \
6  --name llm-quick-server \
7  -p 8000:8000 \
8  -v ./models:/app/models \
9  --gpus all  # GPU用户添加，CPU用户移除
10  llmquick/llm-quick:1.0.2 \
11  llm-quick serve --model-path /app/models/llm-quick-10b-4bit --port 8000

1from llm_quick import LLMQuick
2
3# 初始化模型
4model = LLMQuick(model_path="./models/llm-quick-10b-4bit")
5
6# 文本生成
7response = model.generate(
8    prompt="写一段关于AI发展的短文案，适合公众号发布",
9    max_tokens=200,  # 最大生成长度
10    temperature=0.7  # 随机性，0-1之间，值越高越灵活
11)
12print("生成结果：", response.text)

1import requests
2
3url = "http://localhost:8000/v1/completions"
4data = {
5    "prompt": "用Python写一个快速排序算法，带注释",
6    "max_tokens": 300,
7    "temperature": 0.5
8}
9response = requests.post(url, json=data)
10print("API返回：", response.json()["choices"][0]["text"])

1pip install inferspeed

1from inferspeed import Accelerator
2from llm_quick import LLMQuick
3
4# 初始化加速器
5accelerator = Accelerator(optimize_level="medium")  # medium/ high/ low
6
7# 加速模型
8model = LLMQuick(model_path="./models/llm-quick-10b-4bit")
9accelerated_model = accelerator.optimize(model)
10
11# 使用加速后的模型
12response = accelerated_model.generate(
13    prompt="写一段关于AI发展的短文案，适合公众号发布",
14    max_tokens=200,
15    temperature=0.7
16)
17print("加速后生成结果：", response.text)

1# 加载本地文档作为知识库
2from llm_quick import KnowledgeBase
3
4kb = KnowledgeBase()
5kb.add_documents("./docs/")  # 添加文档目录
6
7# 问答
8response = model.generate(
9    prompt="根据公司手册，请假流程是什么？",
10    knowledge_base=kb
11)

1response = model.generate(
2    prompt="请帮我写一个Python函数，实现斐波那契数列，要求带详细注释",
3    max_tokens=500,
4    temperature=0.3
5)

1response = model.generate(
2    prompt="写一篇关于人工智能发展趋势的文章，500字左右",
3    max_tokens=800,
4    temperature=0.7
5)

1response = model.generate(
2    prompt="分析以下销售数据，找出趋势和异常点：\n[数据内容]",
3    max_tokens=600,
4    temperature=0.5
5)

1# 创建系统服务文件
2sudo nano /etc/systemd/system/llm-quick.service
3
4# 内容如下
5[Unit]
6Description=LLM-Quick Service
7After=network.target
8
9[Service]
10User=your_username
11WorkingDirectory=/path/to/llm-quick
12ExecStart=/path/to/llm-quick-env/bin/llm-quick serve --model-path /path/to/models/llm-quick-10b-4bit --port 8000
13Restart=always
14
15[Install]
16WantedBy=multi-user.target
17
18# 启用并启动服务
19sudo systemctl daemon-reload
20sudo systemctl enable llm-quick
21sudo systemctl start llm-quick

1server {
2    listen 80;
3    server_name ai.example.com;
4    
5    location / {
6        proxy_pass http://localhost:8000;
7        proxy_http_version 1.1;
8        proxy_set_header Upgrade $http_upgrade;
9        proxy_set_header Connection 'upgrade';
10        proxy_set_header Host $host;
11        proxy_cache_bypass $http_upgrade;
12    }
13}