Skip to content
flyingcrp's blog
Go back

企业级 LLM 私有化架构思考笔记(专栏总览)

Updated:

(一)模型的选择

探讨私有化与 Agent 落地场景下,算力成本约束与基座模型选型的权衡策略与评估框架

(二)模型的部署

从一体机、研发工作站到多卡服务,按模型大小和团队的运维条件选择部署方式

(三)模型的可观测性

从请求超时、首字响应变慢和任务失败入手,结合应用日志、推理引擎和 GPU 指标排查原因

(四)待定,持续学习更新中


Share this post:

Previous Post
企业级 LLM 私有化架构思考笔记(2):模型的部署
Next Post
企业级 LLM 私有化架构思考笔记(1):模型的选择