Runtime Local LLM
Документация для плагина Runtime Local LLM.
- Получить на Fab
- Сайт продукта
- Скачать демо (Windows)
- Видеоурок
- Поддержка плагина и индивидуальная разработка: [email protected] (индивидуальные решения для команд и организаций)
Обзор
Запускайте большие языковые модели полностью на устройстве в Unreal Engine с использованием llama.cpp. Офлайн-инференс с моделями GGUF, потоковая передача токенов и полная поддержка Blueprint и C++ API на Windows, Mac, Linux, Android, iOS и Meta Quest.
Управление моделями в редакторе
Просматривайте, загружайте, импортируйте, удаляйте и тестируйте модели LLM непосредственно в редакторе Unreal Engine с помощью панели настроек плагина Runtime Local LLM.
Как использовать плагин
Полный справочник API времени выполнения для плагина Runtime Local LLM, охватывающий создание экземпляров LLM, загрузку модели, отправку сообщений, скачивание, управление состоянием, функции библиотеки моделей и утилиты.
Примеры
Готовые к использованию примеры на Blueprint и C++ для плагина Runtime Local LLM, включая простой чат, чат с загрузкой, предварительную загрузку моделей и системы диалогов с NPC.
Параметры инференса
Подробный справочник по всем параметрам инференса LLM, включая температуру, top-p, top-k, штраф за повторение, выгрузку слоев на GPU, размер контекста, сид и количество потоков, с рекомендациями для конкретных платформ, мобильных устройств, VR и настольных компьютеров.
Устранение неполадок
Устранение распространенных проблем с плагином Runtime Speech Recognizer.
Демо-проект
Готовый к использованию демонстрационный проект для плагина Runtime Local LLM с интерфейсом чата с потоковыми ответами, загрузкой моделей по URL и настраиваемыми параметрами вывода.