系统设计面试题¶

涵盖高并发缓存、异步队列、日志监控、部署运维、成本安全。共 130 题：基础 52、进阶 46、高级 32。

基础题（难度：⭐）¶

1. LLM 应用系统设计的核心挑战是什么？¶

参考答案： 高延迟（LLM 调用慢）、高成本（Token 费）、非确定性（输出不稳定）、长任务（多步 Agent）、限流（API 配额）、可观测性（调试难）。需围绕这些设计架构。

2. 什么是高并发 LLM 应用？¶

参考答案： 支持大量用户同时请求 LLM 服务的应用。挑战：API 速率限制、延迟、成本、资源调度。需异步架构、限流、队列、缓存、水平扩展。

3. 缓存在 LLM 应用中的作用？¶

参考答案： 缓存重复请求结果降本提速；缓存 Embedding 避免重复计算；缓存检索结果；缓存 Prompt 前缀利用 Prompt Caching。分多级（内存/Redis/CDN）。

4. 什么是语义缓存？¶

参考答案： 用 Embedding 检索相似历史 query，命中则返回缓存答案。比精确匹配缓存命中率更高，适合 FAQ 类高频查询。需处理时效性与个性化，相似度阈值控制。

5. 什么是异步队列？为什么 LLM 应用需要？¶

参考答案： 将耗时 LLM 任务放入队列异步处理，立即返回任务 ID，完成后通知。避免请求阻塞、削峰填谷、解耦、重试、限流。适合长任务与高并发场景。

6. 常见的消息队列有哪些？¶

参考答案： Redis（简单/轻量）、RabbitMQ（路由灵活）、Kafka（高吞吐/日志流）、RocketMQ、SQS（云）。AI 应用常用 Redis/Celery、ARQ（原生 asyncio）。

7. 什么是日志（Logging）？为什么重要？¶

参考答案： 记录应用运行事件供调试、审计、监控。LLM 应用需记录 Prompt、输入输出、Token、工具调用、错误，便于排查问题与优化。结构化日志（JSON）便于分析。

8. 什么是监控（Monitoring）？¶

参考答案： 实时采集应用指标（QPS/延迟/错误率/成本/资源）并展示告警。LLM 应用还需监控 Token 消耗、模型调用、工具成功率、幻觉率等业务指标。

9. 什么是追踪（Tracing）？¶

参考答案： 记录请求在分布式系统中的完整调用链路（Trace/Span）。LLM 应用中追踪 Prompt→LLM→工具→数据库等各环节，便于性能分析与故障定位。

10. 常见的可观测性工具？¶

参考答案： 日志：ELK/Loki；指标：Prometheus+Grafana；追踪：Jaeger/Tempo/Zipkin；LLM 专用：LangSmith/Langfuse/Phoenix/Arize。OpenTelemetry 统一标准。

11. 什么是部署运维（DevOps）？¶

参考答案： 涵盖应用部署、配置管理、监控告警、故障恢复、扩缩容、CI/CD。LLM 应用还需模型版本管理、Prompt 版本管理、A/B 测试、灰度发布。

12. LLM 应用的常见部署方式？¶

参考答案： 容器化（Docker）+ 编排（Kubernetes）；Serverless（按需扩缩）；裸机/VM；混合。API 服务多用容器+K8s，事件驱动可用 Serverless，本地模型需 GPU 节点。

13. 什么是 CI/CD？¶

参考答案： 持续集成（代码提交自动测试）与持续交付（自动部署）。LLM 应用需额外：Prompt 变更测试、模型版本测试、评测集回归、A/B 灰度发布。

14. LLM 应用的成本构成？¶

参考答案： LLM API Token 费（占大头）、Embedding 费、向量库存储与计算、基础设施（服务器/带宽）、人工开发运维、第三方工具/API。需全链路监控与优化。

15. 什么是限流（Rate Limiting）？¶

参考答案： 限制请求频率与并发，保护系统与下游 API。常见算法：令牌桶、漏桶、滑动窗口。按用户/IP/全局分级，超限返回 429 或排队。

16. 什么是熔断（Circuit Breaker）？¶

参考答案： 下游服务错误率/超时率达阈值时熔断，快速失败不再调用，防止级联故障。半开探测恢复。LLM API 不稳定时熔断保护系统。

17. 什么是降级（Degradation）？¶

参考答案： 系统过载或下游故障时牺牲部分功能保核心：换小模型、返回缓存、简化响应、关闭非核心功能。保障可用性与用户体验。

18. 什么是负载均衡？¶

参考答案： 将请求分发到多实例避免单点过载。策略：轮询、最少连接、加权、哈希。LLM 应用可按模型/区域/key 负载均衡。

19. 什么是水平扩展与垂直扩展？¶

参考答案： 水平：增加实例数量（加机器），适合无状态服务；垂直：提升单实例配置（加 CPU/内存）。LLM API 应用多水平扩展，本地模型推理需垂直（GPU）。

20. 什么是无状态服务？¶

参考答案： 服务不保存会话状态，任何实例可处理任何请求，便于水平扩展与故障转移。LLM 应用应将状态外部化（Redis/DB）实现无状态 API 层。

21. 什么是 API 网关？¶

参考答案： 统一入口处理鉴权、限流、路由、缓存、日志、监控、协议转换。LLM 应用可用网关管理多模型路由、密钥池、计费、审计。

22. 什么是 SSE（Server-Sent Events）？¶

参考答案： 基于 HTTP 的服务器单向推送协议，text/event-stream 格式。LLM 流式输出常用，浏览器原生 EventSource 接收，实现简单。

23. 什么是 WebSocket？¶

参考答案： 全双工通信协议，适合实时双向交互。LLM 应用中用于实时对话、Agent 状态推送、多模态流。比 SSE 复杂但功能更强。

24. 什么是连接池？¶

参考答案： 预创建并复用连接（数据库/HTTP），避免每次建立关闭开销。LLM 应用中复用 LLM API 连接、数据库连接、向量库连接，提升性能。

25. 什么是重试与退避？¶

参考答案： 请求失败时重试，退避是重试间隔递增（指数退避）+ 随机抖动，避免惊群。LLM API 遇 429/5xx 重试，区分可重试与不可重试错误。

26. 什么是幂等性？¶

参考答案： 重复执行相同操作产生相同结果，无副作用。LLM 应用中工具调用应设计幂等（请求 ID 去重），支持安全重试，防止重复扣费/操作。

27. 什么是蓝绿部署？¶

参考答案： 两套环境（蓝/绿），新版本部署到一套，验证后切换流量。快速回滚（切回旧环境），零停机。适合 LLM 应用版本发布。

28. 什么是金丝雀发布（Canary）？¶

参考答案： 新版本先给小比例流量，观察无异常后渐进扩大。LLM 应用可按用户/租户灰度，监控质量与成本指标，异常回滚。

29. 什么是 A/B 测试？¶

参考答案： 两个或多个版本同时运行，随机分流用户，对比指标选优。LLM 应用 A/B 测试 Prompt、模型、检索策略等，数据驱动优化。

30. 什么是灰度发布？¶

参考答案： 新版本逐步放量（1%→5%→50%→100%），监控指标验证后扩大。降低发布风险，支持快速回滚。LLM 应用必备发布策略。

31. 什么是回滚（Rollback）？¶

参考答案： 新版本异常时回退到旧版本。需版本管理、快速切换、数据兼容。LLM 应用 Prompt/模型变更需可回滚，保障稳定。

32. 什么是配置管理？¶

参考答案： 集中管理应用配置（模型/Prompt/参数/密钥），动态更新无需重启。工具：Consul/etcd/Apollo/环境变量。LLM 应用 Prompt 也应配置化管理。

33. 什么是密钥管理？¶

参考答案： 安全存储与使用 API Key、数据库密码等敏感信息。禁止硬编码；用环境变量或密钥管理服务（Vault/AWS Secrets Manager）；定期轮换；权限控制；审计。

34. 什么是数据脱敏？¶

参考答案： 移除或替换敏感信息（PII/手机号/身份证）。LLM 应用中输入脱敏防泄露、输出脱敏防返回敏感、日志脱敏防记录。合规与安全必需。

35. 什么是 PII？¶

参考答案： Personally Identifiable Information，个人身份信息。如姓名、手机、邮箱、身份证。LLM 应用需检测并脱敏 PII，遵守隐私法规（GDPR/PIPL）。

参考答案： 欧盟通用数据保护条例，规范个人数据处理。要求：合法依据、最小化、用户权利（访问/删除/携带）、DPA、数据驻留。LLM 应用处理欧盟用户数据需合规。

37. 什么是 SLA/SLO/SLI？¶

参考答案： SLI 是指标（如可用性 99.9%）；SLO 是内部目标（99.95%）；SLA 是对客户的合同承诺（99.9% 否则赔偿）。LLM 应用需定义延迟、可用性、质量 SLO。

38. 什么是 P99 延迟？¶

参考答案： 99% 的请求在此时延内完成。比平均延迟更能反映长尾用户体验。LLM 应用 P99 常较高（长输出/复杂任务），需优化与流式缓解。

39. 什么是首字节延迟（TTFB）？¶

参考答案： Time To First Byte，收到首个响应字节的时间。LLM 流式输出降低 TTFB，用户感知更快。优化：流式、预计算、缓存、就近部署。

40. 什么是吞吐量（Throughput）？¶

参考答案： 单位时间处理的请求数或 Token 数。LLM 应用吞吐受 API 限流、模型速度、并发数制约。优化：批处理、并发、缓存、小模型。

41. 什么是资源利用率？¶

参考答案： CPU/内存/GPU/带宽的使用率。过高过载、过低浪费。LLM 应用需监控并优化：自动扩缩容、合理配额、批处理提升利用率、混部。

42. 什么是自动扩缩容？¶

参考答案： 根据负载自动增减实例。基于指标（CPU/QPS/队列长度）或定时。LLM 应用流量波动大，自动扩缩容保障稳定性与成本。K8s HPA/VPA。

43. 什么是混沌工程？¶

参考答案： 主动注入故障（网络延迟/实例宕机/依赖失败）测试系统韧性。LLM 应用可模拟 LLM API 超时/错误，验证熔断降级重试，发现隐藏依赖。

44. 什么是压力测试？¶

参考答案： 逐步增加负载找系统瓶颈与极限。LLM 应用压测：API 限流点、队列堆积、数据库连接、内存泄漏。制定扩容与降级策略。

45. 什么是容量规划？¶

参考答案： 预测未来负载与资源需求，提前准备。LLM 应用需预测：用户增长、Token 消耗、API 配额、基础设施。避免容量不足或过度 Provision。

46. 什么是多区域部署？¶

参考答案： 在多个地理区域部署服务，降低延迟、提升可用性、满足数据驻留。LLM 应用可按区域选最近 API 端点、本地化模型、合规要求。

47. 什么是数据驻留？¶

参考答案： 数据存储与处理在特定地理区域，满足法规要求。LLM 应用处理欧盟/中国等数据需驻留本地，用 Azure OpenAI 区域部署或本地模型。

48. 什么是零信任安全？¶

参考答案： 不信任任何请求，全部验证。LLM 应用：每次请求鉴权、最小权限、加密传输、审计、网络分段。防止越权与数据泄露。

49. 什么是 DDoS 防护？¶

参考答案： 防御分布式拒绝服务攻击。LLM 应用易被刷量消耗 Token 成本。防护：限流、WAF、CDN、验证码、行为分析、黑洞路由、云防护。

50. 什么是内容安全？¶

参考答案： 防止生成有害内容（暴力/色情/违法/歧视）。LLM 应用需输入过滤、Prompt 安全规则、输出审查、内容分类、人工审核、合规。

51. 什么是 Prompt 注入防御？¶

参考答案： 防止用户输入劫持模型。防御：输入输出分离、数据转义、指令边界强化、检测过滤可疑指令、工具权限最小化、人工审批高危、沙箱隔离。

52. 什么是审计日志？¶

参考答案： 记录关键操作（谁/何时/做了什么）供追溯与合规。LLM 应用需记录：用户请求、模型调用、工具调用、敏感操作、审批。不可篡改、留存合规。

进阶题（难度：⭐⭐）¶

1. 设计一个高并发 LLM 应用的缓存架构。¶

参考答案： 多级缓存：L1 内存（LRU 热数据毫秒级）、L2 Redis（分布式秒级）、L3 语义缓存（Embedding 相似命中）；Prompt Caching 复用前缀；缓存 Embedding 与检索结果；按 TTL/事件失效；命中率监控；防止脏数据。

2. 分析语义缓存的工程实现与陷阱。¶

参考答案： query Embedding→向量检索相似历史→阈值判断→命中返回。陷阱：相似但答案不同（时效/个性化）、缓存污染（错误答案）、阈值难调、冷启动空、隐私（query 含 PII 缓存）。需校验时效性与个性化，定期清理。

3. 设计 LLM 应用的异步任务队列架构。¶

参考答案： API 接收任务入队返回 ID；worker 池消费执行；状态存 Redis/DB（pending/running/done/failed）；进度通知（SSE/轮询/webhook）；重试与死信；优先级；限流；并发控制；结果存储；超时处理。

4. 如何处理长时 Agent 任务的可靠性？¶

参考答案： 检查点持久化每步状态；断点续传；幂等步骤支持重放；失败重试与降级；超时熔断；最大步数/预算限制；监控异常；人工干预阈值；任务状态机；死信队列处理失败。

5. 设计 LLM 应用的全链路可观测性。¶

参考答案： Trace 贯穿请求（API→Agent→LLM→工具→DB）；Span 记录各阶段耗时；结构化日志（输入输出/Token/成本）；指标（QPS/延迟/错误/缓存）；告警；LangSmith/Langfuse/OTel 集成；看板；回放调试。

6. 如何设计 LLM 应用的成本监控与优化？¶

参考答案： 每次调用记录 usage（输入/输出/缓存 Token）与成本；按用户/功能/模型分摊；预算与告警；优化：小模型路由、Prompt Caching、缓存、限制 max_tokens、Batch、降维 Embedding；成本看板；定期复盘。

7. 分析 LLM 应用的限流策略设计。¶

参考答案： 多级限流：用户级（按订阅/角色）、租户级（配额）、全局级（保护下游）；令牌桶算法；按请求/QPM/TPM 限制；超限排队/拒绝/降级；Redis 分布式限流；优先级；公平调度；监控告警。

8. 设计 LLM API 的多 key 池管理。¶

参考答案： 多账号/key 池负载均衡；按 key 配额与限流分发；故障 key 自动摘除；密钥轮换；用量监控；按租户/模型分配；故障转移；合规；统一计费归集；防止单 key 耗尽。

9. 如何实现 LLM 应用的优雅关闭？¶

参考答案： 捕获关闭信号；停止接收新请求；等待进行中请求完成（超时强制）；关闭连接池与消费者；清理临时资源；保存状态；通知依赖；K8s preStop hook；健康检查摘除；滚动更新零停机。

10. 设计 LLM 应用的熔断降级方案。¶

参考答案： 熔断：LLM API 错误率/超时率达阈值熔断，半开探测恢复；降级：换小模型/备用模型、返回缓存、简化响应、关闭非核心；告警；自动恢复或人工；分级降级；防止雪崩；保障核心可用。

11. 分析 LLM 应用的容量规划。¶

参考答案： 预测用户增长与调用量；按模型/功能分解；峰值系数；API 配额申请；基础设施资源；成本预算；扩容预案；降级策略；监控利用率；定期复盘调整；分区域规划。

12. 设计 LLM 应用的水平扩展架构。¶

参考答案： 无状态 API 层（状态外部化 Redis/DB）；负载均衡；自动扩缩容（HPA）；多实例；连接池复用；缓存层分担；队列削峰；读写分离；分片；跨区域；监控；渐进扩容。

13. 如何实现 LLM 应用的 A/B 测试框架？¶

参考答案： 配置中心管理实验（流量分桶/Prompt/模型变体）；按用户哈希分流；统一指标采集（质量/延迟/成本）；统计显著性检验；灰度放量；一键回滚；隔离实验；长期监控；数据驱动决策。

14. 设计 LLM 应用的灰度发布机制。¶

参考答案： 新版本按用户/租户/流量百分比灰度；对比核心指标（质量/延迟/成本/错误）；自动回滚条件；渐进放量（1%→5%→50%→100%）；可观测对比看板；一键回滚；隔离实验；与 Prompt/模型版本协同。

15. 分析 LLM 应用的延迟优化策略。¶

参考答案： 流式输出降 TTFB；小模型路由；Prompt Caching；缓存复用；并行工具调用；预计算；KV Cache 复用；精简 Prompt；限制 max_tokens；边缘部署；连接复用；批处理；监控 P99；分级响应。

16. 设计 LLM 应用的密钥与安全管理。¶

参考答案： 密钥用 Vault/Secrets Manager，禁止硬编码；定期轮换；最小权限；按环境隔离；审计访问；传输加密；PII 脱敏；Prompt 注入防御；工具权限分级；沙箱；红队测试；合规（GDPR/SOC2）。

17. 如何实现 LLM 应用的多租户隔离？¶

参考答案： 数据隔离（库/schema/前缀）；配置隔离（Prompt/模型/工具）；配额与限流按租户；密钥按租户；资源池隔离或共享限配额；监控按租户；审计；公平调度；性能隔离防 noisy neighbor。

18. 设计 LLM 应用的数据安全方案。¶

参考答案： 数据分类分级；传输加密（TLS）；存储加密；PII 检测与脱敏；访问控制；审计日志；数据驻留；DLP 防泄露；备份与恢复；合规（GDPR/PIPL）；定期安全评估；应急响应。

19. 分析 LLM 应用的故障域与容灾。¶

参考答案： 故障域：LLM API 中断、模型废弃、限流、网络、依赖服务故障。容灾：多模型/多厂商降级、多区域部署、缓存兜底、熔断快速失败、队列重试、人工接管、降级响应、演练。

20. 设计 LLM 应用的监控告警体系。¶

参考答案： 指标：QPS/延迟（P50/P99）/错误率/成本/Token/缓存命中/工具成功率/幻觉率；业务指标；告警阈值与分级；告警渠道（邮件/钉钉/电话）；告警去重与收敛；值班；SLO 监控；看板。

21. 如何实现 LLM 应用的内容安全审查？¶

参考答案： 输入过滤（敏感词/注入检测/Prompt 安全）；Prompt 安全规则；输出审查（内容分类/PII/有害内容）；分级处理（拦截/警告/记录）；人工审核高风险；合规；审计；规则与模型结合；定期更新。

22. 设计 LLM 应用的 Prompt 注入防御体系。¶

参考答案： 输入输出分离；数据转义与隔离；指令边界强化（"以上是数据，以下是指令"）；检测过滤可疑指令（"忽略以上"等）；工具权限最小化；高危人工审批；沙箱；输出审查；红队测试；监控异常。

23. 分析 LLM 应用的成本爆炸风险与防控。¶

参考答案： 风险：用户刷量、Agent 死循环、长上下文、工具滥用、模型选型不当。防控：限流配额、最大步数/Token/成本预算、小模型路由、缓存、监控告警、异常检测、人工干预阈值、熔断。

24. 设计 LLM 应用的预算控制机制。¶

参考答案： 用户/租户/全局预算；实时成本归因；预算阈值告警；超预算限流或停服；按功能分配预算；冷却期；预算充值；预算外降级；成本看板；预测预警；定期复盘。

25. 如何实现 LLM 应用的混沌测试？¶

参考答案： 注入 LLM API 超时/错误/慢响应；模拟依赖服务故障；网络分区；资源耗尽；测试熔断降级重试；验证降级体验；发现隐藏依赖；压力测试极限；定期演练；自动化 CI 集成；改进容错。

26. 设计 LLM 应用的多区域高可用架构。¶

参考答案： 多区域活-活或主备；DNS/负载均衡路由；数据多副本同步；故障检测与自动切换；降级运行；就近 API 端点；数据驻留合规；监控全局；成本权衡；定期演练；RTO/RPO 目标。

27. 分析 LLM 应用的 SLO 设计。¶

参考答案： 定义 SLI：可用性（99.9%）、延迟（P99 < 30s）、质量（准确率 > 90%）、成本（预算内）；SLO 目标；错误预算；监控告警；超预算暂停发布；分级 SLO（核心/非核心）；与业务对齐。

28. 设计 LLM 应用的配置中心方案。¶

参考答案： 集中管理 Prompt/模型/参数/限流/开关；环境隔离（dev/staging/prod）；动态热更新无需重启；版本管理与回滚；灰度配置；权限与审核；审计；配置变更触发评测；与 CI/CD 集成。

29. 如何实现 LLM 应用的版本管理？¶

参考答案： 代码/Prompt/模型/配置全版本化；变更日志；环境隔离；A/B 对比；灰度发布；回滚能力；数据兼容性；废弃通知与迁移；与 CI/CD 集成；可追溯可复现；文档同步。

30. 分析 LLM 应用的数据流架构。¶

参考答案： 请求流：网关→鉴权→限流→路由→Agent→LLM/工具→响应；异步流：队列→worker→状态→通知；数据流：日志→聚合→分析；监控流：指标→采集→告警。各流解耦与可观测。

31. 设计 LLM 应用的 API 网关。¶

参考答案： 统一入口：鉴权、限流、路由（多模型）、缓存、日志、监控、计费、审计、密钥池、熔断降级、协议转换、A/B 实验、灰度、版本管理。可选现成网关（Kong/APISIX）或自建。

32. 如何优化 LLM 应用的资源利用率？¶

参考答案： 自动扩缩容匹配负载；批处理提升吞吐；混部（CPU 与 GPU 任务）；连接复用；缓存减少重复计算；小模型路由；限流防过载；监控利用率；冷热分层；Serverless 按需；合理 Provision。

33. 设计 LLM 应用的日志分析平台。¶

参考答案： 结构化日志（JSON）采集；日志聚合（ELK/Loki）；按维度分析（用户/模型/错误）；失败模式挖掘；调用链追踪；与指标关联；异常检测；可视化看板；告警；合规留存；用于优化。

34. 分析 LLM 应用的数据合规设计。¶

参考答案： 数据分类分级；用户同意与告知；数据驻留（区域）；跨境传输合规；GDPR（访问/删除/携带）；PII 检测脱敏；加密；审计；DPA；数据保留策略；合规评估；DPO；定期审查。

35. 如何实现 LLM 应用的用户反馈闭环？¶

参考答案： 反馈采集（评分/点赞/纠正/评论）；结构化存储；分析聚合（低质 case 识别）；标注入库评测集；优化 Prompt/模型/检索；A/B 验证；持续迭代；用户告知改进；激励反馈；隐私保护。

36. 设计 LLM 应用的模型版本管理方案。¶

参考答案： 模型版本化（基础/微调）；Prompt 版本化；绑定记录；环境隔离；A/B 对比；灰度切换；回滚；废弃通知与迁移；评测验证；成本对比；与厂商版本协同；文档变更日志。

37. 分析 LLM 应用的灾难恢复方案。¶

参考答案： 多区域部署；数据备份与恢复；故障检测与切换；降级运行（备用模型/缓存）；队列重试；熔断保护；人工接管；预案与演练；RTO/RPO 目标；通信协调；数据一致性恢复；事后复盘。

38. 如何实现 LLM 应用的性能瓶颈定位？¶

参考答案： 全链路 Trace 定位慢环节；指标监控（P99 延迟分布）；profiling（CPU/内存/IO）；分析 LLM 调用占比；工具调用耗时；数据库/向量库查询；网络延迟；缓存命中率；并发瓶颈；针对性优化。

39. 设计 LLM 应用的安全审计体系。¶

参考答案： 记录用户请求、模型调用、工具调用、敏感操作、审批、配置变更；不可篡改存储；敏感数据脱敏；按用户/租户隔离；支持查询与导出；合规留存；异常检测告警；定期审查；与监控集成。

40. 分析 LLM 应用的弹性和韧性设计。¶

参考答案： 弹性：自动扩缩容、限流、队列削峰、缓存。韧性：熔断、降级、重试、隔离、冗余、故障转移、优雅降级。结合实现高可用：吸收流量波动（弹性）+ 抵抗故障（韧性）。混沌测试验证。

41. 如何实现 LLM 应用的灰度回滚？¶

参考答案： 版本管理与可追溯；监控指标对比；异常自动告警；一键回滚到上版本；流量快速切换；数据兼容性（向后兼容）；回滚验证；回滚通知；灰度期间保留双版本；快速决策机制；演练。

42. 设计 LLM 应用的 API 设计规范。¶

参考答案： RESTful 或 RPC；统一响应格式（code/message/data）；错误码体系；分页；版本化（URL/header）；限流头；幂等键；SSE 流式；鉴权（Bearer）；文档（OpenAPI）；向后兼容。

43. 分析 LLM 应用的多模型管理。¶

参考答案： 多厂商/多模型适配；统一接口抽象；特性检测（工具/视觉/结构化）；路由策略（按任务/成本/延迟）；降级备用；成本对比；版本管理；A/B；密钥管理；监控各模型表现；按场景选型。

44. 如何实现 LLM 应用的流量调度？¶

参考答案： 按用户/租户/模型/区域路由；负载均衡；优先级队列；灰度分流；A/B 实验；降级流量；故障切换；按成本/延迟动态路由；监控分布；公平调度；配额管理；防止热点。

45. 设计 LLM 应用的数据备份与恢复。¶

参考答案： 数据分类（用户数据/对话/向量库/配置）；定期备份（全量+增量）；多区域备份；加密存储；恢复演练；RPO/RTO 目标；版本保留策略；恢复流程文档化；校验完整性；自动化。

46. 分析 LLM 应用的合规架构。¶

参考答案： 数据合规（GDPR/PIPL/数据驻留）；内容合规（有害内容/审核）；行业合规（HIPAA/PCI/SOC2）；审计；用户同意；数据主体权利；DPO；合规评估；第三方 DPA；定期审查；培训；应急响应。

高级题（难度：⭐⭐⭐）¶

1. 设计一个支持百万级用户的 LLM 应用平台架构。¶

参考答案： 分层：接入层（网关/CDN/限流）、应用层（无状态 API 水平扩展）、Agent 层（编排/工具/记忆）、模型层（多模型路由/多 key 池/熔断降级）、数据层（Redis/DB/向量库）、可观测层、安全层。异步队列削峰，多级缓存降本，自动扩缩容，多区域部署，成本与安全管控。

2. 设计 LLM 应用的全链路成本优化体系。¶

参考答案： 成本归因（按用户/功能/模型/Token）；小模型路由简单任务；Prompt Caching 复用前缀；语义缓存复用结果；控制上下文与 max_tokens；Batch API 批处理；降维 Embedding；自部署开源模型；限流配额；预算控制；监控告警；ROI 分析；持续优化。

3. 分析 LLM 应用的全链路安全防护体系。¶

参考答案： 纵深防御：网络层（WAF/DDoS/限流）、接入层（鉴权/零信任）、应用层（Prompt 注入防御/输入输出过滤）、模型层（越狱检测/安全对齐）、工具层（权限最小化/沙箱/审批）、数据层（加密/脱敏/审计）、运维层（密钥管理/监控/红队）、合规层（GDPR/SOC2）。

4. 设计 LLM 应用的多区域全球化架构。¶

参考答案： 多区域活-活部署；DNS 智能路由（就近/合规）；数据驻留（区域隔离）；就近 API 端点；跨区域同步与一致性；故障切换；本地化模型与 Prompt；多语言支持；合规；成本权衡；监控全局；容量规划；降级策略。

5. 分析 LLM 应用的极致延迟优化方案。¶

参考答案： 流式输出降 TTFB；边缘部署就近响应；小模型快速首响；预测性预计算；KV Cache 复用；Prompt Caching；缓存命中直返；并行工具调用；精简 Prompt；连接复用；批处理；异步流水线；P99 监控；分级响应；冷启动优化。

6. 设计 LLM 应用的智能模型路由系统。¶

参考答案： 意图/难度分类器（小模型/规则）路由：简单→mini、复杂→4o、推理→o3；按 token 长度/工具需求/成本预算动态选；级联：小模型先答置信低再升级；缓存历史路由决策；持续学习优化路由；监控各模型效果与成本；A/B 验证路由策略。

7. 分析 LLM 应用的灾难恢复与业务连续性。¶

参考答案： 多区域活-活/主备；数据多副本与备份；故障检测与自动切换；降级运行（备用模型/缓存兜底/简化响应）；队列重试；熔断保护；人工接管；预案与定期演练；RTO/RPO 目标；通信协调；数据一致性恢复；事后复盘改进；合规。

8. 设计 LLM 应用的可观测性平台。¶

参考答案： 全链路 Trace（OpenTelemetry）；Span 记录各环节（API/Agent/LLM/工具/DB）；结构化日志（输入输出/Token/成本/错误）；指标（QPS/延迟/错误/成本/质量/缓存）；LLM 专用（LangSmith/Langfuse）；告警；看板；回放调试；异常检测；SLO 监控。

9. 分析 LLM 应用的弹性容量管理。¶

参考答案： 容量预测（用户增长/调用量/Token）；峰值系数与预留；自动扩缩容（HPA/指标驱动）；队列削峰填谷；多级缓存分担；限流保护；降级策略；API 配额管理；成本预算；监控利用率；定期复盘；分区域规划；混部提升利用率。

10. 设计 LLM 应用的数据治理架构。¶

参考答案： 数据分类分级；数据生命周期（采集/存储/使用/归档/删除）；PII 检测与脱敏；数据血缘追踪；访问控制与审计；数据质量监控；合规（GDPR/PIPL）；数据驻留；加密；备份恢复；DLP；数据主体权利；DPO 治理。

11. 分析 LLM 应用的多云/混合云架构。¶

参考答案： 多云避免锁定与择优；混合云（本地敏感数据+云端算力）；跨云网络与延迟；统一身份与权限；数据同步与一致性；合规与数据驻留；故障切换；成本优化（按云择优）；监控统一；按场景路由；本地模型+云端 API 混合；抽象层解耦。

12. 设计 LLM 应用的 A/B 测试与实验平台。¶

参考答案： 实验配置（流量分桶/Prompt/模型/参数变体）；用户哈希分流；统一指标采集（质量/延迟/成本/业务）；统计显著性检验；多维切片分析；灰度放量；一键回滚；隔离实验避免污染；长期监控；实验仓库与知识沉淀；数据驱动决策。

13. 分析 LLM 应用的故障注入与混沌工程。¶

参考答案： 注入 LLM API 超时/错误/慢响应；依赖服务故障；网络分区与延迟；资源耗尽（内存/CPU/连接）；测试熔断/降级/重试/故障转移；验证降级体验；发现隐藏依赖与单点；压力测试极限；定期演练；自动化 CI 集成；改进容错与韧性。

14. 设计 LLM 应用的零信任安全架构。¶

参考答案： 不信任任何请求；每次请求强鉴权；最小权限原则；网络分段微隔离；传输全加密；工具权限分级与审批；沙箱隔离；持续验证（设备/行为）；审计全记录；密钥轮换；异常检测；红队测试；合规；纵深防御。

15. 分析 LLM 应用的 Prompt 注入纵深防御。¶

参考答案： 输入层：检测过滤可疑指令、PII 脱敏；Prompt 层：输入输出分离、数据转义、指令边界强化、安全规则；模型层：安全对齐、越狱检测；工具层：权限最小化、高危审批、沙箱；输出层：内容审查、敏感信息过滤；运维层：监控异常、审计、红队；多层叠加。

16. 设计 LLM 应用的全生命周期成本管理。¶

参考答案： 预算制定（按团队/功能/用户）；实时成本归因与监控；预算阈值告警；超预算限流降级；成本优化（小模型/缓存/批处理）；ROI 分析；成本看板；月度复盘；成本预测；分摊计费；与业务价值对齐；持续优化；成本文化。

17. 分析 LLM 应用的多租户企业级架构。¶

参考答案： 租户隔离（数据/配置/密钥/资源）；认证授权（SSO/SAML/OAuth2）；权限分级（RBAC）；配额与限流按租户；审计与合规；计费与计费；多区域与数据驻留；自定义（Prompt/模型/工具）；监控按租户；性能隔离；管理后台；API 与 SDK。

18. 设计 LLM 应用的智能运维（AIOps）体系。¶

参考答案： 指标异常检测（AIOps 算法）；根因分析（Trace 关联）；自动扩缩容；自动故障切换；智能告警（去重/收敛/分级）；容量预测；成本优化建议；质量监控（幻觉/用户反馈）；自动化修复；知识库；值班；SLO 管理；持续改进。

19. 分析 LLM 应用的合规与审计架构。¶

参考答案： 数据合规（GDPR/PIPL/驻留）；内容合规（审核/有害内容）；行业合规（HIPAA/PCI/SOC2）；全链路审计日志（不可篡改）；用户同意与权利；PII 检测脱敏；DPA 与第三方管理；DPO 治理；合规评估；定期审查；培训；应急响应；报告。

20. 设计 LLM 应用的灰度发布与回滚平台。¶

参考答案： 版本管理（代码/Prompt/模型/配置）；灰度策略（按用户/租户/流量%）；指标对比看板；自动回滚条件（错误率/延迟/质量异常）；一键回滚；数据兼容性；双版本并存；快速决策；灰度窗口；通知；演练；与 A/B 集成。

21. 分析 LLM 应用的性能工程体系。¶

参考答案： 性能基线与 SLO；全链路 Trace 定位瓶颈；profiling（CPU/内存/IO/网络）；负载测试与压力测试；容量规划；延迟优化（流式/缓存/小模型/并行）；资源利用率优化；P99 长尾治理；性能回归测试；性能看板；持续优化；混沌验证。

22. 设计 LLM 应用的数据隐私保护方案。¶

参考答案： 数据分类分级；PII 检测（NER/规则）与脱敏（替换/掩码/哈希）；传输与存储加密；访问控制与审计；数据驻留；用户同意与权利（访问/删除/遗忘）；最小化采集；DLP 防泄露；第三方 DPA；合规（GDPR/PIPL）；隐私评估；定期审查。

23. 分析 LLM 应用的故障演练与应急响应。¶

参考答案： 故障演练：定期混沌测试、模拟各类故障、验证恢复流程、发现薄弱环节。应急响应：故障检测告警、分级响应、值班 on-call、预案执行、沟通协调、根因分析、事后复盘改进、知识沉淀、自动化修复。

24. 设计 LLM 应用的全链路质量保障体系。¶

参考答案： 离线：评测集回归、Prompt/模型/检索优化、契约测试、单元集成测试；在线：实时质量监控（幻觉/相关性）、用户反馈、A/B、灰度；质量门禁（CI 卡点）；异常告警；低质 case 收集与优化；持续迭代；SLO 管理；质量文化。

25. 分析 LLM 应用的架构演进路线。¶

参考答案： 阶段1：单应用 MVP（直接调 API）；阶段2：基础架构（缓存/队列/监控）；阶段3：多模型路由与 A/B；阶段4：Agent 化（工具/记忆/编排）；阶段5：平台化（多租户/可观测/安全）；阶段6：智能化（AIOps/自优化）。按业务阶段渐进演进，避免过度设计。

26. 设计 LLM 应用的成本与质量平衡策略。¶

参考答案： 分级服务：核心场景高质量（大模型+rerank+校验），非核心降本（小模型+缓存）；按用户/订阅分级；动态路由（按难度/预算）；质量监控确保降本不损质量；A/B 验证；SLO 分级；成本质量看板；ROI 分析；持续调优；用户感知平衡。

27. 分析 LLM 应用的技术债务管理。¶

参考答案： 识别技术债（Prompt 硬编码/无版本/无测试/单点/无监控）；量化与优先级；定期重构窗口；架构演进计划；文档与规范；CI/CD 与自动化测试；代码评审；技术雷达；债务看板；与业务平衡；防止债务累积；持续清理。

28. 设计 LLM 应用的端到端自动化运维。¶

参考答案： IaC（Terraform）基础设施即代码；CI/CD 流水线（测试/构建/部署）；自动化测试（单元/集成/契约/性能）；自动扩缩容；自动故障切换；自动备份恢复；配置管理；监控告警自动化；ChatOps；AIOps 智能运维；定期演练；持续改进。

29. 分析 LLM 应用的供应商锁定与解耦。¶

参考答案： 锁定风险：API 依赖、模型依赖、数据格式、工具生态。解耦：抽象 LLM 接口（多模型适配）、标准化数据格式、开源备选、多云部署、数据可迁移、协议开放（MCP）、模块化架构、合约条款、备选方案评估、定期验证可迁移性。

30. 设计 LLM 应用的全链路可追溯体系。¶

参考答案： 请求 Trace（唯一 ID 贯穿）；记录每步（输入输出/模型/工具/参数/结果/耗时/成本）；用户操作审计；数据血缘；模型与 Prompt 版本；配置变更；回放调试；合规审计；问题根因分析；质量追溯；用户可查看；不可篡改存储。

31. 分析 LLM 应用的绿色计算与可持续性。¶

参考答案： LLM 调用耗能大（训练与推理）。优化：小模型路由降能耗、缓存减少调用、批处理提升效率、按需扩缩容、避免无用计算、监控能耗、选择绿色数据中心、碳补偿、合理 Provision、避免过度训练、开源模型复用。平衡性能与可持续性。

32. 设计 LLM 应用的未来演进架构。¶

参考答案： 面向未来：协议化（MCP 标准化工具）、平台化（多租户/可观测/安全）、智能化（AIOps/自优化）、Agent 化（自主决策/多 Agent 协作）、多模态融合、边缘+云协同、开源+闭源混合、自适应（按场景动态调整）、合规内建、可持续。保持架构松耦合与可演进性。

系统设计 面试题¶