Runtime Local LLM
Runtime Local LLM 플러그인에 대한 문서.
- Fab에서 받기
- 제품 웹사이트
- 데모 다운로드 (Windows)
- 영상 튜토리얼
- 플러그인 지원 및 맞춤 개발: [email protected] (팀 및 조직을 위한 맞춤 솔루션)
개요
llama.cpp를 사용하여 Unreal Engine에서 대규모 언어 모델을 완전히 온디바이스로 실행하세요. GGUF 모델을 이용한 오프라인 추론, 토큰 스트리밍, 그리고 Windows, Mac, Linux, Android, iOS 및 Meta Quest 전반에 걸친 완벽한 Blueprint 및 C++ API 지원을 제공합니다.
에디터에서 모델 관리하기
Runtime Local LLM 플러그인 설정 패널을 사용하여 언리얼 엔진 편집기에서 직접 LLM 모델을 탐색, 다운로드, 가져오기, 삭제 및 테스트할 수 있습니다.
플러그인 사용 방법
Runtime Local LLM 플러그인의 전체 런타임 API 참조, LLM 인스턴스 생성, 모델 로딩, 메시지 전송, 다운로드, 상태 관리, 모델 라이브러리 함수 및 유틸리티를 다룹니다.
예시
Runtime Local LLM 플러그인을 위한 즉시 사용 가능한 Blueprint 및 C++ 예제로, 간단한 채팅, 다운로드 후 채팅, 모델 사전 다운로드, NPC 대화 시스템을 포함합니다.
추론 매개변수
LLM 추론 매개변수(온도, top-p, top-k, 반복 패널티, GPU 레이어 오프로딩, 컨텍스트 크기, 시드, 스레드 수)에 대한 상세 참조 자료와 모바일, VR, 데스크탑을 위한 플랫폼별 권장 사항입니다.
문제 해결
Runtime Local LLM 플러그인의 일반적인 문제 해결
데모 프로젝트
Runtime Local LLM 플러그인을 위한 즉시 사용 가능한 데모 프로젝트로, 스트리밍 응답이 포함된 채팅 인터페이스, URL을 통한 모델 다운로드, 구성 가능한 추론 파라미터를 제공합니다.