Runtime Local LLM
Runtime Local LLM 플러그인에 대한 문서입니다.
- Fab에서 받기
- 제품 웹사이트
- 데모 다운로드 (Windows)
- 비디오 튜토리얼
- 플러그인 지원 및 맞춤 개발: [email protected] (팀 및 조직을 위한 맞춤형 솔루션)
개요
Unreal Engine에서 llama.cpp를 사용하여 대규모 언어 모델을 완전히 온디바이스에서 실행합니다. GGUF 모델을 사용한 오프라인 추론, 토큰 스트리밍, 그리고 Windows, Mac, Linux, Android, iOS, Meta Quest 전반에 걸친 완전한 Blueprint 및 C++ API 지원.
에디터에서 모델 관리하기
Runtime Local LLM 플러그인 설정 패널을 사용하여 언리얼 엔진 에디터에서 직접 LLM 모델을 탐색, 다운로드, 가져오기, 삭제 및 테스트할 수 있습니다.
플러그인 사용 방법
Runtime Local LLM plugin에 대한 전체 런타임 API 레퍼런스로, LLM 인스턴스 생성, 모델 로드, 메시지 전송, 다운로드, 상태 관리, 모델 라이브러리 함수 및 유틸리티를 다룹니다.
예제
Runtime Local LLM 플러그인을 위한 즉시 사용 가능한 Blueprint 및 C++ 예제 (간단한 채팅, 다운로드 후 채팅, 모델 사전 다운로드, NPC 대화 시스템 포함)
추론 매개변수
LLM 추론 파라미터(온도, top-p, top-k, 반복 페널티, GPU 레이어 오프로딩, 컨텍스트 크기, 시드, 스레드 수)에 대한 상세 레퍼런스와 모바일, VR, 데스크톱을 위한 플랫폼별 권장 사항
트러블슈팅
Runtime Speech Recognizer 플러그인의 일반적인 문제 해결
데모 프로젝트
Runtime Local LLM plugin을 위한 즉시 사용 가능한 데모 프로젝트로, 스트리밍 응답이 포함된 채팅 인터페이스, URL을 통한 모델 다운로드, 그리고 설정 가능한 추론 매개변수를 특징으로 합니다.