LiteLLM 養大了 AI Gateway 這個類別,2026 年 Bifrost 用 Go 把效能上限再推 50 倍
應用程式直接打 OpenAI、Anthropic 端點的時代結束了,多數正式服務已經把 AI Gateway 當成基礎建設的一層。LiteLLM 撐起了大半個自架生態系,但 Python GIL 讓它撞到天花板。Bifrost 用 Go 重寫整套閘道,5K RPS 下只多 11 微秒延遲,並把語義快取與 MCP Gateway 做成內建模組。
閱讀全文 →應用程式直接打 OpenAI、Anthropic 端點的時代結束了,多數正式服務已經把 AI Gateway 當成基礎建設的一層。LiteLLM 撐起了大半個自架生態系,但 Python GIL 讓它撞到天花板。Bifrost 用 Go 重寫整套閘道,5K RPS 下只多 11 微秒延遲,並把語義快取與 MCP Gateway 做成內建模組。
閱讀全文 →Mailcow 動輒十幾個容器、Postfix 加 Dovecot 加 Rspamd 拼裝起來又是另一場硬仗。Stalwart 用一支 Rust binary ...
Mozilla 在 2025 年 7 月關掉 Pocket,自架選項一直缺一個能跟 SaaS 體驗持平的解。Karakeep 從 Hoarder 改名而來,把 ...
SigNoz 是少數從第一天就以 OpenTelemetry 為核心設計的自架可觀測平台。本文拆解它跟 LGTM Stack 的架構差異、ClickHouse ...
rsync 是同步工具,不是備份工具。Restic 把加密、去重、版本化、雲端整合收進同一支二進位檔,本文涵蓋 0.18 版的儲存格式設計、與 Borg 的取捨...
Forgejo 是 Gitea 的社群分支,單一 binary 就能跑起完整的 Git 平台,內建與 GitHub Actions 相容的 CI/CD 系統。本...
Redis 在 2024 年改用 SSPL 授權後,Linux Foundation 支持的 Valkey 迅速成為主流替代方案。本文拆解 Valkey 的技術...
Podman 是無 daemon、預設 rootless 的容器引擎,與 Docker CLI 幾乎完全相容。本文從架構差異、安裝、Quadlet 整合 sys...
CrowdSec 是開源的協作式入侵偵測與防禦系統,透過全球社群共享的威脅情報即時封鎖惡意 IP。本文從架構、安裝、情境設定到與 fail2ban 的差異,完整...
Dify 是 GitHub 上超過 14 萬星的開源 AI Agent 平台,用視覺化介面串接 LLM、建立 RAG 知識庫、發布聊天機器人。本文涵蓋 Dock...