前 32 篇我们讲的大部分内容都是云端部署——大集群、大显存、大功率。这一篇换个视角端侧大模型。也就是在手机、笔记本、嵌入式设备上跑 LLM。为什么这件事在 2026 年突然重要三个变化叠加小模型变强Phi-4-mini 3.8B 在多项任务超 Llama-2-70B推理蒸馏R1-Distill-1.5B 推理能力超 GPT-4o硬件升级iPhone 17 Pro NPU M4 Max 64GB Copilot PC 普及云端大模型 端侧小模型 2026 年的标准 AI 应用架构。如果你做过相关工作下面这些问题应该不陌生手机能跑多大的模型速度怎么样Phi、Gemma、Qwen 小尺寸到底哪个强iOS / Android / Mac / Windows 各自的端侧方案浏览器里能跑 LLM 吗WebGPU 现在到什么程度了端侧 vs 云端业务怎么分读完本文你将能区分主流端侧小模型的能力与适用场景选对端侧部署技术栈设计端云协同的 AI 应用架构评估端侧化的成本收益我们开始。一、端侧大模型为什么 2026 年才真正可用1.1 端侧 AI 的 4 个驱动因素1. 隐私 ── 数据完全不出设备 2. 离线 ── 不依赖网络 3. 延迟 ── 没有网络往返 4. 成本 ── 服务端零成本这些诉求一直存在。但直到 2024-2026 年才真正满足时间能在 iPhone 跑的模型速度2023.06LLaMA-1 7B Q41-2 tok/s不可用2024.01Phi-2 2.7B Q48 tok/s2024.12Qwen2.5-7B Q415 tok/s2025.10Phi-4-mini Q435 tok/s⭐2026.05Qwen3-3B Q4 R1-Distill40 tok/s⭐关键转折点2025 年。从此手机跑 LLM 从实验变成产品。1.2 三股力量推动小模型逆袭力量 1数据精炼Phi 系列证明用教科书级合成数据训练小模型能干掉用网络数据训练的大模型。Phi-1.51.3B→ 接近 Llama-7B Phi-22.7B → 接近 Llama-13B Phi-3.5-mini3.8B→ 接近 Mixtral 8x7B Phi-4-mini3.8B→ 接近 Llama-2-70B3.8B 模型逐步追平 70B——这就是数据精炼的威力。力量 2推理模型蒸馏R1-Distill 让小模型也能强推理第 32 篇讲过R1 (671B) → R1-Distill-7B → R1-Distill-1.5B手机能跑手机推理模型正在成为可能。力量 3硬件升级硬件NPU 算力内存iPhone 17 Pro202535 TOPS16 GBSnapdragon 8 Gen 5 (2025)48 TOPS12-16 GBApple M4 Max38 TFLOPS128 GBCopilot PCX Elite Gen 280 TOPS32 GBRTX 5090 笔记本250 TFLOPS24 GB关键认知2026 年的手机算力 ≈ 2019 年的数据中心 GPU。二、主流端侧大模型2.1 5 大主流系列2026 中Phi 系列微软Phi-4-mini(3.8B)综合最强小模型Phi-4-mini-reasoning带推理能力的端侧首选Phi-4(14B)可在 16GB 笔记本跑特点主合成数据训练数学 / 代码能力强中文一般Gemma 系列GoogleGemma 3 1B / 4B / 12B多模态视觉支持移动端优化特点与 Gemini 同源推理速度快多语言支持Qwen3 小尺寸阿里Qwen3-0.6B / 1.7B / 4B / 8B中文最强小模型 ⭐MoE 小版本Qwen3-MoE-A3B特点中英文均衡Tokenizer 中文优化工具调用强Llama 4 小尺寸MetaLlama 4 Scout17B 激活 / 109B MoE标准小 LLM 仍在 Llama 3.x 系列特点开源生态最广中文一般MiniCPM 系列面壁智能MiniCPM 4(8B)主打端侧多模态版本MiniCPM-V特点国产端侧首选量化优化好2.2 端侧能力实测2026.05测试硬件iPhone 17 Pro / Android 旗舰模型大小iOS 速度中文英文数学代码Qwen3-0.6B Q40.4 GB70 tok/s⭐⭐⭐⭐⭐⭐⭐⭐⭐Qwen3-1.7B Q41.0 GB50 tok/s⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐Phi-4-mini Q42.0 GB40 tok/s⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐Qwen3-4B Q42.3 GB35 tok/s⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐Gemma 3-4B Q42.4 GB32 tok/s⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐R1-Distill-1.5B Q40.9 GB55 tok/s⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐Qwen3-7B Q44.2 GB18 tok/s紧张⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐关键观察手机最佳点 2-4 GB 模型速度 质量平衡中文应用首选 Qwen3-4B推理任务首选 R1-Distill-1.5B小且推理强7B 在手机上勉强速度 内存压力三、端侧部署技术栈3.1 跨平台总览┌──────────────────────────────────┐ │ iOS / iPadOS │ │ └─ MLX / Core ML / Executorch │ ├──────────────────────────────────┤ │ Android │ │ └─ MediaPipe / ExecuTorch / TFLite │ ├──────────────────────────────────┤ │ macOS │ │ └─ MLX / llama.cpp / Ollama │ ├──────────────────────────────────┤ │ Windows │ │ └─ DirectML / ONNX / Ollama │ ├──────────────────────────────────┤ │ 浏览器 │ │ └─ WebLLM / WebGPU │ ├──────────────────────────────────┤ │ 嵌入式 / 物联网 │ │ └─ llama.cpp / TFLite Micro │ └──────────────────────────────────┘3.2 iOS / iPadOSMLXApple 官方第 18 篇讲过——Apple Silicon 的最佳选择# Python用于开发 / Mac from mlx_lm import load, generate model, tokenizer load(mlx-community/Qwen3-4B-Instruct-4bit) output generate(model, tokenizer, 你好, max_tokens100)// Swift用于 iOS App import MLX import MLXLMCommon let model try await loadModel(Qwen3-4B-Instruct-4bit) let response try await model.generate(prompt: 你好, maxTokens: 100)Core MLApple 推理框架不限于 LLM。LLM 支持在 2024 后逐渐成熟。适合与 Apple ecosystem 深度集成的应用。ExecutorchPyTorch 在端侧的官方方案跨平台iOS Android。3.3 AndroidGoogle MediaPipe// Android Kotlin val llmInference LlmInference.createFromOptions( context, LlmInferenceOptions.builder() .setModelPath(/path/to/gemma-3-4b-int4.task) .setMaxTokens(1024) .build() ) val response llmInference.generateResponse(你好)支持模型Gemma 系列、部分 Llama / Qwen。ExecuTorchPyTorch 官方跨平台部署 PyTorch 模型含 Android 支持。TFLite老牌端侧框架LLM 支持有限。3.4 macOSMac 是端侧大模型的性能王者方案适合MLX性能最强M 系列Ollama易用LM StudioGUIllama.cpp底层定制M4 Max 64GB 跑 Qwen3-32B Q4 约 30 tok/s——笔记本就能跑专业模型。3.5 WindowsDirectMLWindows 原生 GPU 推理框架。Ollama / LM Studio跨平台方案在 Windows 也好用。Copilot PC高通 X Elite / Snapdragon X2微软推的40 TOPS NPU 笔记本2025 起普及原生跑 SLMSmall Language ModelPhi-4 / Gemma 系列优化Windows 11 集成 AI 能力3.6 浏览器WebLLMimport { CreateMLCEngine } from mlc-ai/web-llm; const engine await CreateMLCEngine(Qwen3-4B-Instruct-q4f16_1-MLC, { initProgressCallback: (info) console.log(info.text), }); const response await engine.chat.completions.create({ messages: [{ role: user, content: 你好 }], });WebGPU 是关键——2024 年后主流浏览器都支持。实测Chrome on M3 MacQwen3-1.7B 在浏览器跑 30 tok/s无需任何后端适合隐私要求极高的网页应用零后端成本不想装 App 的轻量场景3.7 嵌入式 / 物联网llama.cpp 在树莓派 / Jetson Nano 上也能跑Raspberry Pi 58GBQwen3-1.7B Q4 约 4 tok/sJetson Orin NanoPhi-4-mini Q4 约 25 tok/s适合智能音箱、机器人、智能玩具。3.8 浏览器端模型分发第 23 篇我们讲过模型分发——端侧也有专门方案HuggingFace SpacesCDN 分发MLC AI浏览器优化版Cloudflare R2 WebGPU自定义 CDN四、端侧应用场景4.1 已经成熟的应用应用模型业务价值本地 AI 助手Apple Intelligence / BixbyPhi / Gemma隐私 即时离线翻译Qwen-Mobile国际出行写作辅助Gemma 系列续写 / 改写Code CompletionPhi-coder / Qwen-Coder miniIDE 自动补全客服 SDK 嵌入各家小模型数据不出智能家居MiniCPM / Qwen3 mini隐私 响应快4.2 Apple Intelligence 案例Apple 2025 完整推出 Apple IntelligenceiPhone / iPad / Mac 原生集成端侧 ~3B 模型部分能力路由到云隐私架构端侧能搞定的不发云架构用户请求 ↓ 端侧路由器 1B 模型 ├─ 简单任务 → 端侧 ~3B 模型直接处理 └─ 复杂任务 → 苹果云Private Cloud Compute └─ 极端复杂 → 用户授权后调 ChatGPT这是端云协同的教科书级架构。4.3 Copilot PC微软 2025 推全系 Copilot PC40 TOPS NPU 标配Phi 系列原生集成Recall功能本地分析用户操作离线 AI 能力五、端云协同未来的标准架构5.1 分层路由核心思想根据任务复杂度决定用端侧还是云端async defhybrid_route(request): # 1. 端侧小模型判断复杂度 complexity await on_device_classifier(request) if complexity trivial: # 简单聊天 / 翻译 / 摘要 → 端侧 1B 模型 returnawait on_device_tiny.complete(request) elif complexity medium: # 中等复杂度 → 端侧 4B 模型 returnawait on_device_medium.complete(request) else: # complex # 复杂推理 / 多模态 / 长上下文 → 云端 returnawait cloud_api.complete(request)5.2 路由优势维度全云方案端云协同隐私差好⭐响应速度中网络往返快⭐离线能力无强⭐服务端成本高降 60-80%⭐复杂任务质量强同上实测把简单任务路由到端侧后云端 token 消耗降 70%。5.3 应用架构示例[用户设备] ├─ 端侧路由模型0.5B ├─ 端侧主力模型4B ├─ 端侧向量库私有数据 └─ 端侧记忆库 ↓ 网关决策端 / 云 ↓ [云端] ├─ 大模型 APIClaude / GPT / DeepSeek ├─ 中央知识库RAG └─ Agent 工具集5.4 真实业务案例智能助手某团队设计的混合架构80% 请求端侧 Qwen3-4B 处理聊天、查询、简单工具15% 请求端侧 云端协同RAG 检索发起到云5% 请求云端推理模型复杂规划效果平均延迟从 1.2s 降到 0.3s月 API 账单降 75%隐私合规通过 ✓六、端侧部署的工程挑战6.1 内存压力手机内存有限iPhone 17 Pro16 GB应用可用约 6-8 GBAndroid 旗舰12-16 GB对策模型 Q4 量化4B 模型约 2 GB启动时按需加载不要常驻后台时释放6.2 电池消耗LLM 推理是高功耗操作iPhone 17 Pro 持续推理 10 分钟 约消耗 5% 电量对策大模型只在用户主动调用时启动优先用 NPU比 GPU 省电短回复 / 节流6.3 启动延迟模型加载到内存需要时间4B Q4 模型加载约 2-3 秒NVMe SSD7B Q4 模型加载约 5-8 秒对策应用启动时后台预加载内存 mmap按需读取选小一点的模型6.4 模型分发让用户首次下载 2GB 模型不是好体验。对策应用安装包不含模型首次启动联网下载增量更新只下载 diffCDN 加速分发6.5 跨平台一致性iOS / Android / Mac / Windows 各有方案输出一致性难保证。对策用同一份 GGUF / MLX 权重关键场景做交叉测试业务侧抽象 API隔离平台差异七、端侧大模型的未来7.1 当下趋势7.1.1 小模型继续变强4B 追上 70B 是趋势7.1.2 推理模型蒸馏R1-Distill 风格普及7.1.3多模态小模型视觉 语音 文本端侧融合7.1.4NPU 算力翻倍每代旗舰芯片7.1.5.OS 原生集成Apple Intelligence / Android AI / Windows Copilot7.2 未来 3 年预判时间端侧能力预判2026 末旗舰手机标配 4B 模型20277B 模型在手机流畅运行2028端侧推理模型成熟2029端侧多模态图文音一体化7.3 业务影响云端 LLM 推理需求增速放缓部分场景被端侧吃掉AI 应用形态转向端云协同隐私合规成本下降数据本地化AI 工程师必须懂端侧栈八、避坑8.1 坑 1盲目追新对策不是所有手机都能跑 4B 模型要做硬件分级。8.2 坑 2模型选择错误对策中文场景必选 Qwen英文 数学优先 Phi。8.3 坑 3忽视量化精度对策Q4_K_M 是甜蜜点不要再降。8.4 坑 4电池被骂对策明确告诉用户开启 AI 会耗电提供节能模式。8.5 坑 5首次下载体验差对策渐进式下载 友好提示 备用云模式。8.6 坑 6忽视云端备份对策低端机 / 旧机型 fallback 到云端。九、结语端侧大模型是 AI 进入「日常生活」的桥梁1、2026 是端侧大模型真正可用的元年2、Phi / Gemma / Qwen3 小尺寸 / R1-Distill 是当下主力3、中文优先 Qwen3推理优先 R1-Distill英文 代码优先 Phi4、手机最佳点是 2-4 GB 模型5、端云协同是 2026 年的标准架构80% 端、20% 云6、NPU 算力翻倍 小模型变强 端侧 AI 时代来临参考文献端侧大模型Phi、Gemma 与小模型逆袭
前 32 篇我们讲的大部分内容都是云端部署——大集群、大显存、大功率。这一篇换个视角端侧大模型。也就是在手机、笔记本、嵌入式设备上跑 LLM。为什么这件事在 2026 年突然重要三个变化叠加小模型变强Phi-4-mini 3.8B 在多项任务超 Llama-2-70B推理蒸馏R1-Distill-1.5B 推理能力超 GPT-4o硬件升级iPhone 17 Pro NPU M4 Max 64GB Copilot PC 普及云端大模型 端侧小模型 2026 年的标准 AI 应用架构。如果你做过相关工作下面这些问题应该不陌生手机能跑多大的模型速度怎么样Phi、Gemma、Qwen 小尺寸到底哪个强iOS / Android / Mac / Windows 各自的端侧方案浏览器里能跑 LLM 吗WebGPU 现在到什么程度了端侧 vs 云端业务怎么分读完本文你将能区分主流端侧小模型的能力与适用场景选对端侧部署技术栈设计端云协同的 AI 应用架构评估端侧化的成本收益我们开始。一、端侧大模型为什么 2026 年才真正可用1.1 端侧 AI 的 4 个驱动因素1. 隐私 ── 数据完全不出设备 2. 离线 ── 不依赖网络 3. 延迟 ── 没有网络往返 4. 成本 ── 服务端零成本这些诉求一直存在。但直到 2024-2026 年才真正满足时间能在 iPhone 跑的模型速度2023.06LLaMA-1 7B Q41-2 tok/s不可用2024.01Phi-2 2.7B Q48 tok/s2024.12Qwen2.5-7B Q415 tok/s2025.10Phi-4-mini Q435 tok/s⭐2026.05Qwen3-3B Q4 R1-Distill40 tok/s⭐关键转折点2025 年。从此手机跑 LLM 从实验变成产品。1.2 三股力量推动小模型逆袭力量 1数据精炼Phi 系列证明用教科书级合成数据训练小模型能干掉用网络数据训练的大模型。Phi-1.51.3B→ 接近 Llama-7B Phi-22.7B → 接近 Llama-13B Phi-3.5-mini3.8B→ 接近 Mixtral 8x7B Phi-4-mini3.8B→ 接近 Llama-2-70B3.8B 模型逐步追平 70B——这就是数据精炼的威力。力量 2推理模型蒸馏R1-Distill 让小模型也能强推理第 32 篇讲过R1 (671B) → R1-Distill-7B → R1-Distill-1.5B手机能跑手机推理模型正在成为可能。力量 3硬件升级硬件NPU 算力内存iPhone 17 Pro202535 TOPS16 GBSnapdragon 8 Gen 5 (2025)48 TOPS12-16 GBApple M4 Max38 TFLOPS128 GBCopilot PCX Elite Gen 280 TOPS32 GBRTX 5090 笔记本250 TFLOPS24 GB关键认知2026 年的手机算力 ≈ 2019 年的数据中心 GPU。二、主流端侧大模型2.1 5 大主流系列2026 中Phi 系列微软Phi-4-mini(3.8B)综合最强小模型Phi-4-mini-reasoning带推理能力的端侧首选Phi-4(14B)可在 16GB 笔记本跑特点主合成数据训练数学 / 代码能力强中文一般Gemma 系列GoogleGemma 3 1B / 4B / 12B多模态视觉支持移动端优化特点与 Gemini 同源推理速度快多语言支持Qwen3 小尺寸阿里Qwen3-0.6B / 1.7B / 4B / 8B中文最强小模型 ⭐MoE 小版本Qwen3-MoE-A3B特点中英文均衡Tokenizer 中文优化工具调用强Llama 4 小尺寸MetaLlama 4 Scout17B 激活 / 109B MoE标准小 LLM 仍在 Llama 3.x 系列特点开源生态最广中文一般MiniCPM 系列面壁智能MiniCPM 4(8B)主打端侧多模态版本MiniCPM-V特点国产端侧首选量化优化好2.2 端侧能力实测2026.05测试硬件iPhone 17 Pro / Android 旗舰模型大小iOS 速度中文英文数学代码Qwen3-0.6B Q40.4 GB70 tok/s⭐⭐⭐⭐⭐⭐⭐⭐⭐Qwen3-1.7B Q41.0 GB50 tok/s⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐Phi-4-mini Q42.0 GB40 tok/s⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐Qwen3-4B Q42.3 GB35 tok/s⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐Gemma 3-4B Q42.4 GB32 tok/s⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐R1-Distill-1.5B Q40.9 GB55 tok/s⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐Qwen3-7B Q44.2 GB18 tok/s紧张⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐关键观察手机最佳点 2-4 GB 模型速度 质量平衡中文应用首选 Qwen3-4B推理任务首选 R1-Distill-1.5B小且推理强7B 在手机上勉强速度 内存压力三、端侧部署技术栈3.1 跨平台总览┌──────────────────────────────────┐ │ iOS / iPadOS │ │ └─ MLX / Core ML / Executorch │ ├──────────────────────────────────┤ │ Android │ │ └─ MediaPipe / ExecuTorch / TFLite │ ├──────────────────────────────────┤ │ macOS │ │ └─ MLX / llama.cpp / Ollama │ ├──────────────────────────────────┤ │ Windows │ │ └─ DirectML / ONNX / Ollama │ ├──────────────────────────────────┤ │ 浏览器 │ │ └─ WebLLM / WebGPU │ ├──────────────────────────────────┤ │ 嵌入式 / 物联网 │ │ └─ llama.cpp / TFLite Micro │ └──────────────────────────────────┘3.2 iOS / iPadOSMLXApple 官方第 18 篇讲过——Apple Silicon 的最佳选择# Python用于开发 / Mac from mlx_lm import load, generate model, tokenizer load(mlx-community/Qwen3-4B-Instruct-4bit) output generate(model, tokenizer, 你好, max_tokens100)// Swift用于 iOS App import MLX import MLXLMCommon let model try await loadModel(Qwen3-4B-Instruct-4bit) let response try await model.generate(prompt: 你好, maxTokens: 100)Core MLApple 推理框架不限于 LLM。LLM 支持在 2024 后逐渐成熟。适合与 Apple ecosystem 深度集成的应用。ExecutorchPyTorch 在端侧的官方方案跨平台iOS Android。3.3 AndroidGoogle MediaPipe// Android Kotlin val llmInference LlmInference.createFromOptions( context, LlmInferenceOptions.builder() .setModelPath(/path/to/gemma-3-4b-int4.task) .setMaxTokens(1024) .build() ) val response llmInference.generateResponse(你好)支持模型Gemma 系列、部分 Llama / Qwen。ExecuTorchPyTorch 官方跨平台部署 PyTorch 模型含 Android 支持。TFLite老牌端侧框架LLM 支持有限。3.4 macOSMac 是端侧大模型的性能王者方案适合MLX性能最强M 系列Ollama易用LM StudioGUIllama.cpp底层定制M4 Max 64GB 跑 Qwen3-32B Q4 约 30 tok/s——笔记本就能跑专业模型。3.5 WindowsDirectMLWindows 原生 GPU 推理框架。Ollama / LM Studio跨平台方案在 Windows 也好用。Copilot PC高通 X Elite / Snapdragon X2微软推的40 TOPS NPU 笔记本2025 起普及原生跑 SLMSmall Language ModelPhi-4 / Gemma 系列优化Windows 11 集成 AI 能力3.6 浏览器WebLLMimport { CreateMLCEngine } from mlc-ai/web-llm; const engine await CreateMLCEngine(Qwen3-4B-Instruct-q4f16_1-MLC, { initProgressCallback: (info) console.log(info.text), }); const response await engine.chat.completions.create({ messages: [{ role: user, content: 你好 }], });WebGPU 是关键——2024 年后主流浏览器都支持。实测Chrome on M3 MacQwen3-1.7B 在浏览器跑 30 tok/s无需任何后端适合隐私要求极高的网页应用零后端成本不想装 App 的轻量场景3.7 嵌入式 / 物联网llama.cpp 在树莓派 / Jetson Nano 上也能跑Raspberry Pi 58GBQwen3-1.7B Q4 约 4 tok/sJetson Orin NanoPhi-4-mini Q4 约 25 tok/s适合智能音箱、机器人、智能玩具。3.8 浏览器端模型分发第 23 篇我们讲过模型分发——端侧也有专门方案HuggingFace SpacesCDN 分发MLC AI浏览器优化版Cloudflare R2 WebGPU自定义 CDN四、端侧应用场景4.1 已经成熟的应用应用模型业务价值本地 AI 助手Apple Intelligence / BixbyPhi / Gemma隐私 即时离线翻译Qwen-Mobile国际出行写作辅助Gemma 系列续写 / 改写Code CompletionPhi-coder / Qwen-Coder miniIDE 自动补全客服 SDK 嵌入各家小模型数据不出智能家居MiniCPM / Qwen3 mini隐私 响应快4.2 Apple Intelligence 案例Apple 2025 完整推出 Apple IntelligenceiPhone / iPad / Mac 原生集成端侧 ~3B 模型部分能力路由到云隐私架构端侧能搞定的不发云架构用户请求 ↓ 端侧路由器 1B 模型 ├─ 简单任务 → 端侧 ~3B 模型直接处理 └─ 复杂任务 → 苹果云Private Cloud Compute └─ 极端复杂 → 用户授权后调 ChatGPT这是端云协同的教科书级架构。4.3 Copilot PC微软 2025 推全系 Copilot PC40 TOPS NPU 标配Phi 系列原生集成Recall功能本地分析用户操作离线 AI 能力五、端云协同未来的标准架构5.1 分层路由核心思想根据任务复杂度决定用端侧还是云端async defhybrid_route(request): # 1. 端侧小模型判断复杂度 complexity await on_device_classifier(request) if complexity trivial: # 简单聊天 / 翻译 / 摘要 → 端侧 1B 模型 returnawait on_device_tiny.complete(request) elif complexity medium: # 中等复杂度 → 端侧 4B 模型 returnawait on_device_medium.complete(request) else: # complex # 复杂推理 / 多模态 / 长上下文 → 云端 returnawait cloud_api.complete(request)5.2 路由优势维度全云方案端云协同隐私差好⭐响应速度中网络往返快⭐离线能力无强⭐服务端成本高降 60-80%⭐复杂任务质量强同上实测把简单任务路由到端侧后云端 token 消耗降 70%。5.3 应用架构示例[用户设备] ├─ 端侧路由模型0.5B ├─ 端侧主力模型4B ├─ 端侧向量库私有数据 └─ 端侧记忆库 ↓ 网关决策端 / 云 ↓ [云端] ├─ 大模型 APIClaude / GPT / DeepSeek ├─ 中央知识库RAG └─ Agent 工具集5.4 真实业务案例智能助手某团队设计的混合架构80% 请求端侧 Qwen3-4B 处理聊天、查询、简单工具15% 请求端侧 云端协同RAG 检索发起到云5% 请求云端推理模型复杂规划效果平均延迟从 1.2s 降到 0.3s月 API 账单降 75%隐私合规通过 ✓六、端侧部署的工程挑战6.1 内存压力手机内存有限iPhone 17 Pro16 GB应用可用约 6-8 GBAndroid 旗舰12-16 GB对策模型 Q4 量化4B 模型约 2 GB启动时按需加载不要常驻后台时释放6.2 电池消耗LLM 推理是高功耗操作iPhone 17 Pro 持续推理 10 分钟 约消耗 5% 电量对策大模型只在用户主动调用时启动优先用 NPU比 GPU 省电短回复 / 节流6.3 启动延迟模型加载到内存需要时间4B Q4 模型加载约 2-3 秒NVMe SSD7B Q4 模型加载约 5-8 秒对策应用启动时后台预加载内存 mmap按需读取选小一点的模型6.4 模型分发让用户首次下载 2GB 模型不是好体验。对策应用安装包不含模型首次启动联网下载增量更新只下载 diffCDN 加速分发6.5 跨平台一致性iOS / Android / Mac / Windows 各有方案输出一致性难保证。对策用同一份 GGUF / MLX 权重关键场景做交叉测试业务侧抽象 API隔离平台差异七、端侧大模型的未来7.1 当下趋势7.1.1 小模型继续变强4B 追上 70B 是趋势7.1.2 推理模型蒸馏R1-Distill 风格普及7.1.3多模态小模型视觉 语音 文本端侧融合7.1.4NPU 算力翻倍每代旗舰芯片7.1.5.OS 原生集成Apple Intelligence / Android AI / Windows Copilot7.2 未来 3 年预判时间端侧能力预判2026 末旗舰手机标配 4B 模型20277B 模型在手机流畅运行2028端侧推理模型成熟2029端侧多模态图文音一体化7.3 业务影响云端 LLM 推理需求增速放缓部分场景被端侧吃掉AI 应用形态转向端云协同隐私合规成本下降数据本地化AI 工程师必须懂端侧栈八、避坑8.1 坑 1盲目追新对策不是所有手机都能跑 4B 模型要做硬件分级。8.2 坑 2模型选择错误对策中文场景必选 Qwen英文 数学优先 Phi。8.3 坑 3忽视量化精度对策Q4_K_M 是甜蜜点不要再降。8.4 坑 4电池被骂对策明确告诉用户开启 AI 会耗电提供节能模式。8.5 坑 5首次下载体验差对策渐进式下载 友好提示 备用云模式。8.6 坑 6忽视云端备份对策低端机 / 旧机型 fallback 到云端。九、结语端侧大模型是 AI 进入「日常生活」的桥梁1、2026 是端侧大模型真正可用的元年2、Phi / Gemma / Qwen3 小尺寸 / R1-Distill 是当下主力3、中文优先 Qwen3推理优先 R1-Distill英文 代码优先 Phi4、手机最佳点是 2-4 GB 模型5、端云协同是 2026 年的标准架构80% 端、20% 云6、NPU 算力翻倍 小模型变强 端侧 AI 时代来临参考文献端侧大模型Phi、Gemma 与小模型逆袭
基于Milvus库的问答系统之向量存储)
