Meta* выпустила Llama-Stack 0.1.0, платформу для упрощения создания AI-приложений на базе моделей Llama. Она предоставляет стандартизированные инструменты и гибкие возможности для развертывания.
Ключевые возможности:
- Универсальная API-платформа: поддерживает функции инференса, RAG (Retrieval Augmented Generation), агентов, безопасности, оценки и телеметрии.
- Гибкая плагин-система: позволяет работать с удаленными сервисами, такими как Fireworks и AWS Bedrock, или запускать все локально.
- Поддержка CLI и SDK для Python, Node.js, iOS и Android.
Опции развертывания:
- Удаленные версии: быстрый запуск через API-ключ.
- Локальные версии: больше контроля и независимость от внешних сервисов.
- На устройствах: версии для iOS и Android для работы на edge-устройствах.
Llama-Stack создана для решения ключевых проблем разработчиков:
- Интеграция инструментов и данных.
- Настройка защитных механизмов.
- Обеспечение точности и надежности ответов моделей.
Ранее для этого приходилось собирать разные API и инструменты, что увеличивало сложность и затраты. Теперь Llama-Stack объединяет все в одном сервисе с REST API, обеспечивая простую и удобную разработку.
Платформа включает примеры приложений для быстрого старта и готовится к расширению, добавляя пакетную обработку, дообучение и генерацию синтетических данных.
Meta* позиционирует Llama-Stack как готовое решение для стандартных задач разработки на основе больших языковых моделей.
*Meta признана в России экстремистской организацией, ее деятельность запрещена.
