e企观 · 企业IT与信创
企业级IT与信创国产化深度观察 | 大观视界
模型部署层 服务部署发布的多项能力,简化发布更新流程,保障服务高效稳定运行。 场景化模型部署 内置 Qwen、DeepSeek、GLM、MiniMax 等主流大模型一键部署模板,支持 LLM、AIGC、Agent 等场景化方案 同步/异步推理 支持实时同步推理(低延迟)、近实时异步推理(内置消息队列,适用于 AIGC、视频处理等长耗时任务)、离线批量推理三种模式 一键压测 支持动态加压自动探测服务