2023-12-24 • LLM

使用 FastChat 快速部署 LLM 服务

FastChat 是以 UC Berkeley 主导的 Large Model Systems Organization 所开源的面向 LLM 的训练、推理与评估的开放平台,通过该平台可以快速部署多模型的 LLM 服务,并且通过 Web UI 以及兼容 OpenAI API 的 RESTful API 访问。本文介绍了如何快速使用 FastChat 在服务器上部署 LLM 服务。