Runtime Local LLM
Документация для плагина Runtime Local LLM.
- Get it on Fab
- Веб-сайт продукта
- Скачать демо (Windows)
- Видеоурок
- Поддержка плагинов и индивидуальная разработка: [email protected] (индивидуальные решения для команд и организаций)
Обзор
Запускайте большие языковые модели полностью на устройстве в Unreal Engine с помощью llama.cpp. Офлайн-инференс с моделями GGUF, потоковая передача токенов и полная поддержка API Blueprint и C++ на Windows, Mac, Linux, Android, iOS и Meta Quest.
Управление моделями в редакторе
Просматривайте, загружайте, импортируйте, удаляйте и тестируйте модели LLM непосредственно в редакторе Unreal Engine с помощью панели настроек плагина Runtime Local LLM.
Как использовать плагин
Полная справочная документация по runtime API для плагина Runtime Local LLM, охватывающая создание экземпляра LLM, загрузку модели, отправку сообщений, загрузку, управление состоянием, функции библиотеки моделей и утилиты.
Примеры
Готовые к использованию примеры на Blueprint и C++ для плагина Runtime Local LLM, включающие простой чат, загрузку с последующим чатом, предварительную загрузку модели и системы диалогов NPC.
Параметры вывода
Подробная справка по всем параметрам вывода LLM, включая температуру, top-p, top-k, штраф за повторения, выгрузку слоёв на GPU, размер контекста, зерно (seed) и количество потоков, с рекомендациями для конкретных платформ, мобильных устройств, VR и ПК.
Устранение неполадок
Устранение распространенных проблем с плагином Runtime Local LLM.
Демонстрационный проект
Готовый к использованию демонстрационный проект для плагина Runtime Local LLM, включающий интерфейс чата с потоковыми ответами, загрузку модели по URL-адресу и настраиваемые параметры вывода.