Tag: llm
All the articles with the tag "llm".
企业级 LLM 私有化架构思考笔记(1):模型的选择
Updated:探讨私有化与 Agent 落地场景下,算力成本约束与基座模型选型的权衡策略与评估框架。
企业级 LLM 私有化架构思考笔记(专栏总览)
Updated:系统性整理和复盘企业落地私有大模型(LLM)的实战经验与架构思考。从基座选型、算力规划到 Agent 调度,持续更新中。
企业级 LLM 私有化架构思考笔记(2):模型的部署
Updated:从一体机、研发工作站到多卡服务,按业务交付范围、模型大小和运维条件选择部署方式。
企业级 LLM 私有化架构思考笔记(3):模型的可观测性
Updated:企业私有化推理服务的监控重点。结合业务应用、推理引擎和 GPU 的数据,判断服务可用性、响应速度、并发容量和任务质量。