LiteLLM

Open-source LLM-гейтвей и прокси: роутинг к 100+ провайдерам через свои ключи, бюджетирование и само-хостинг.

Единый API для разработчиков · Open-source и китайские модели

★ 4.3 Бесплатно Официальный сайт

Страна: США
Модель оплаты: Бесплатные
Бесплатный тариф: есть
Работа из России: без VPN, оплата рублями
Документы для юрлиц: нет

Где работает

Через API · На своём сервере

О сервисе

LiteLLM — открытый LLM-гейтвей (Python SDK и прокси-сервер) с поддержкой более 100 провайдеров через свои API-ключи: OpenAI, Anthropic, Google, Bedrock, Azure, Cohere, Ollama и другие. Роутинг, failover, бюджеты и лимиты по ключам, логирование и семантическое кэширование — все эти функции доступны из коробки.

Бесплатно при self-hosted; коммерческая лицензия продаётся отдельно. Требует серверных навыков (DevOps): это полноценная инфраструктурная единица, а не готовый сервис.

Полный контроль над данными (запросы не проходят через стороннее облако) — важно для команд, работающих с чувствительными данными.

Кому подойдёт

инженерным командам с собственной LLM-инфраструктурой, которым нужен контроль над агентными сценариями и данными.

Возможности, плюсы и минусы

Возможности

Открытые исходники
Роутинг к 100+ провайдерам
Failover и маршрутизация запросов
Бюджеты и лимиты по ключам
Семантическое кэширование
Self-hosted развёртывание

Плюсы

Полный контроль над данными
Бесплатно при self-hosted
Enterprise-функции: бюджеты, логирование, кэширование

Минусы

Требует DevOps-навыков и сервера
Нет официального веб-чата
Нужно самостоятельно получать ключи у провайдеров

Подборки, куда входит сервис

Бесплатные — 26 сервисов · Работающие из России — 34 сервиса · Через API — 22 сервиса · Без документов для юрлиц — 30 сервисов

Рубрики