GLM-5.2 接入 VS Code 指南：云 API 与本地私有化双路径

1✅ 有数据合规要求，代码和文档不能出内网（本地部署是唯一解）
2✅ 需要 AI 主动调工具链的任务（Function Calling 是原生能力）
3✅ 需要查最新技术文档的场景（web_search 减少幻觉）
4✅ 中文本土业务代码理解（国产语料训练充分）
5✅ 高并发且长期稳定的团队（一次性硬件投入替代持续 API 账单）
6✅ 想做模型微调或二次开发（权重开放）

1❌ 个人轻量使用，每月 token 消耗低于 100 万（本地部署回不了本）
2❌ 需要一次性塞进十万行以上代码（128K 不够，上 DeepSeek 的 1M）
3❌ 极度价格敏感的批量任务（DeepSeek V4.1 Flash 便宜 5 倍）
4❌ 没有显卡只有笔记本核显（本地路径直接不适用）

13f9a1c7e8b2d4f6a9c0e5b8d.ZhipuSecret_aBcDeFgHiJkLmNoPqRsTuVwXyZ
2└───── id 段 ─────┘ └─────── secret 段 ──────┘

1{
2  "models": [
3    {
4      // 云端模型：走智谱官方 OpenAI 兼容端点
5      "title": "GLM-5.2 云端",
6      "provider": "openai",
7      "model": "glm-5.2",
8      // Key 必须是完整的 id.secret 两段式，缺一段直接 401
9      "apiKey": "3f9a1c7e8b2d4f6a9c0e5b8d.ZhipuSecret_aBcDeFgHiJkLmNoPqRsTuVwXyZ",
10      // 注意路径是 /api/paas/v4，不是常见的 /v1
11      "apiBase": "https://open.bigmodel.cn/api/paas/v4",
12      "contextLength": 128000,
13      "completionOptions": {
14        "temperature": 0.3,
15        "maxTokens": 8192,
16        "topP": 0.7
17      }
18    },
19    {
20      // 轻量版本：便宜四倍，给日常对话和测试用
21      "title": "GLM-5.2 Air 云端",
22      "provider": "openai",
23      "model": "glm-5.2-air",
24      "apiKey": "3f9a1c7e8b2d4f6a9c0e5b8d.ZhipuSecret_aBcDeFgHiJkLmNoPqRsTuVwXyZ",
25      "apiBase": "https://open.bigmodel.cn/api/paas/v4",
26      "contextLength": 128000,
27      "completionOptions": {
28        "temperature": 0.3,
29        "maxTokens": 4096
30      }
31    },
32    {
33      // 本地模型：唯一和云端不同的字段就是 apiBase 与 apiKey
34      "title": "GLM-5.2 本地 vLLM",
35      "provider": "openai",
36      "model": "glm-5.2-local",
37      // vLLM 本地服务不校验 Key，但字段不能为空，随便填一个占位符
38      "apiKey": "local-dev-token",
39      // 本地地址必须是 127.0.0.1 而不是 localhost，避免 IPv6 解析问题
40      "apiBase": "http://127.0.0.1:8000/v1",
41      "contextLength": 131072,
42      "completionOptions": {
43        "temperature": 0.2,
44        "maxTokens": 4096
45      }
46    }
47  ],
48  // Tab 补全是独立节点，不是 models 数组的一项。漏配这个最常见
49  "tabAutocompleteModel": {
50    "title": "GLM-5.2 补全",
51    "provider": "openai",
52    // 补全走本地模型，零延迟零成本，也不占用云端额度
53    "model": "glm-5.2-local",
54    "apiKey": "local-dev-token",
55    "apiBase": "http://127.0.0.1:8000/v1"
56  },
57  // 本地向量化，不额外花钱，且代码embedding也不出内网
58  "embeddingsProvider": {
59    "provider": "transformers.js"
60  },
61  "slashCommands": [
62    {
63      "name": "test",
64      "description": "为选中代码生成单元测试",
65      "prompt": "为下面这段代码生成单元测试，使用项目现有测试框架（pytest / jest / go test），必须覆盖正常、异常、边界三类场景，自动 mock 外部依赖，注释用中文：\n\n{{{ input }}}"
66    },
67    {
68      "name": "review",
69      "description": "审查选中代码的风险点",
70      "prompt": "逐条审查下面这段代码，输出三个部分：一是会导致线上故障的严重问题，二是代码规范和可读性问题，三是每个问题的具体修法（给出代码片段）。不要复述代码做了什么：\n\n{{{ input }}}"
71    }
72  ]
73}

1API Provider:     OpenAI Compatible
2Base URL:         https://open.bigmodel.cn/api/paas/v4
3API Key:          3f9a1c7e8b2d4f6a9c0e5b8d.ZhipuSecret_aBcDeFgHiJkLmNoPqRsTuVwXyZ
4Model ID:         glm-5.2
5Max Context:      128000
6Max Output:       8192
7Temperature:      0.3

1Base URL:         http://127.0.0.1:8000/v1
2API Key:          local-dev-token
3Model ID:         glm-5.2-local

1curl -X POST "https://open.bigmodel.cn/api/paas/v4/chat/completions" \
2  -H "Authorization: Bearer 3f9a1c7e8b2d4f6a9c0e5b8d.ZhipuSecret_aBcDeFgHiJkLmNoPqRsTuVwXyZ" \
3  -H "Content-Type: application/json" \
4  -d '{
5    "model": "glm-5.2",
6    "messages": [
7      {"role": "user", "content": "用 30 字以内介绍你自己"}
8    ],
9    "temperature": 0.3
10  }'

1def calculate_

1FP16 权重              18.0 GB
2├── PyTorch + CUDA 运行时  约 1.2 GB
3├── 默认 KV cache（FP16）  约 3.5 GB（8K 上下文时）
4└── 剩余可用            约 1.3 GB  ← 太紧了

1INT4 权重              5.4 GB
2├── 运行时              约 1.2 GB
3├── KV cache（FP8，128K） 约 11.8 GB
4└── 剩余可用            约 5.6 GB  ← 还能开更大的 batch

1# 安装（CUDA 12.1 环境）
2pip install vllm==0.8.5
3
4# 下载权重
5huggingface-cli download zai-org/GLM-5.2-9B-AWQ --local-dir ./GLM-5.2-9B-AWQ
6
7# 启动 OpenAI 兼容服务
8python -m vllm.entrypoints.openai.api_server \
9  --model ./GLM-5.2-9B-AWQ \
10  --served-model-name glm-5.2-local \
11  --quantization awq \
12  --gpu-memory-utilization 0.90 \
13  --max-model-len 131072 \
14  --max-num-seqs 16 \
15  --enable-prefix-caching \
16  --enable-chunked-prefill \
17  --api-key local-dev-token \
18  --host 127.0.0.1 \
19  --port 8000

1pip install sglang[all]
2python -m sglang.launch_server \
3  --model-path ./GLM-5.2-9B-AWQ \
4  --quantization awq \
5  --served-model-name glm-5.2-local \
6  --mem-fraction-static 0.88 \
7  --context-length 131072 \
8  --port 8000 \
9  --host 127.0.0.1

1# 拉取并运行（第一次会自动下载约 5.5GB）
2ollama pull glm5.2:9b-q4_K_M
3ollama serve
4
5# 自定义上下文长度，避免 128K 被默认 4096 截断
6cat > Modelfile <<'EOF'
7FROM glm5.2:9b-q4_K_M
8PARAMETER num_ctx 131072
9PARAMETER temperature 0.2
10PARAMETER num_predict 4096
11EOF
12ollama create glm-5.2-local -f Modelfile

1curl http://127.0.0.1:8000/v1/models

1curl -X POST "http://127.0.0.1:8000/v1/chat/completions" \
2  -H "Authorization: Bearer local-dev-token" \
3  -H "Content-Type: application/json" \
4  -d '{"model":"glm-5.2-local","messages":[{"role":"user","content":"写个快排"}]}'

1{
2  "tabAutocompleteOptions": {
3    "debounceDelay": 350,
4    "maxPromptTokens": 1024,
5    "multilineCompletions": "never"
6  }
7}

1请重构当前项目的用户权限校验逻辑。
2
3现状：权限判断散落在 routers/ 下 7 个文件里，每处都是手写的
4if current_user.role not in ["admin", "super_admin"]，判断口径不一致。
5
6目标：
71. 抽出一个统一的依赖函数 require_role(*roles)，放在 core/permissions.py
82. 所有 router 改用 Depends(require_role(...)) 声明式校验
93. 权限不足统一返回 403 且响应体格式一致
10
11约束：
12- 不要改动现有数据库模型
13- 不要动 tests/ 目录，我会自己改
14- 改完请列出受影响的文件清单，并说明每处的改动为什么必要
15
16请先用中文输出改造方案让我确认，不要直接改代码。

1我要用 FastAPI 0.130 版本做 WebSocket 广播，请联网查官方文档确认：
2
31. 0.130 版本里 ConnectionManager 相关的 API 有没有 breaking change
42. 推荐的广播实现方式是什么，给出可运行代码
53. 和我在用的 0.115 版本相比迁移要注意哪几点
6
7请给出你查到的信息来源链接，如果是根据训练数据推断而非查到的，请明确标注。

1@codebase 帮我梳理清楚订单状态机的流转逻辑。
2
3请输出：
41. 所有可能的状态枚举值及其定义位置
52. 状态之间的合法转换路径（画成 ASCII 图）
63. 每一条转换在哪个文件的哪个函数里触发
74. 有没有能绕过校验直接改状态的口子（这是个潜在风险点）
8
9注意：这是公司核心业务代码，不要输出任何具体的数据库连接串、密钥或内网地址。

1下面是 CI 跑出来的失败日志，定位问题根因并给出补丁。
2
3日志：
4FAILED tests/test_order.py::test_create_order_insufficient_stock
5AssertionError: assert 422 == 400
6
7请按这个 JSON 格式输出，我要直接喂给打补丁脚本：
8{
9  "root_cause": "一句话说明根因",
10  "file": "需要修改的文件路径",
11  "line_range": [起始行, 结束行],
12  "old_code": "原代码片段",
13  "new_code": "修复后代码片段",
14  "confidence": 0.0-1.0
15}

1python -m vllm.entrypoints.openai.api_server \
2  --model ./GLM-5.2-9B-AWQ \
3  --served-model-name glm-5.2-local \
4  --quantization awq \
5  --gpu-memory-utilization 0.85 \
6  --max-model-len 65536 \
7  --kv-cache-dtype fp8_e5m2 \
8  --max-num-seqs 8 \
9  --enable-prefix-caching \
10  --host 127.0.0.1 --port 8000

1阶段 1（入门）：Continue + 云端 GLM-5.2 跑通日常问答与补全  ← 你现在在这里
2阶段 2（进阶）：本地起 vLLM 服务，把 Tab 补全迁到本地，体验降本的爽感
3阶段 3（高级）：量化选型 + 显存精算，在有限硬件上压出最大上下文和并发
4阶段 4（专家）：多卡部署旗舰版 + MCP 工具接入 + LoRA 微调，搭完全内网闭环的企业 AI 编程平台