NCSE Network 技術部落格

雲端技術
實戰知識庫

VPS 架設教學、Linux 系統管理、網路基礎設施,NCSE Network 技術團隊的第一手經驗分享。

自架服務 LLM AI Gateway LiteLLM Bifrost MCP

LiteLLM 養大了 AI Gateway 這個類別,2026 年 Bifrost 用 Go 把效能上限再推 50 倍

應用程式直接打 OpenAI、Anthropic 端點的時代結束了,多數正式服務已經把 AI Gateway 當成基礎建設的一層。LiteLLM 撐起了大半個自架生態系,但 Python GIL 讓它撞到天花板。Bifrost 用 Go 重寫整套閘道,5K RPS 下只多 11 微秒延遲,並把語義快取與 MCP Gateway 做成內建模組。

閱讀全文 →