본문으로 건너뛰기

에디터에서 모델 관리하기

이 플러그인은 Unreal Engine 에디터 내에서 LLM 모델을 찾아보고, 다운로드하고, 가져오고, 삭제하고, 테스트할 수 있는 설정 패널을 제공합니다.

플러그인 설정에 접근하기​

  1. Edit → Project Settings를 엽니다
  2. Plugins → Runtime Local LLM로 이동합니다

설정 패널에는 두 개의 주요 섹션이 있습니다:

  • Downloaded Models: 현재 디스크에 있으며 사용할 준비가 된 모델
  • Available Models: 내장 카탈로그의 사전 정의된 모델로 다운로드할 수 있습니다

모델 다운로드하기​

  1. Available Models 섹션에서 원하는 모델 패밀리와 변형을 찾습니다
  2. 변형 옆의 Download 버튼을 클릭합니다
  3. 진행 표시줄이 다운로드 상태를 보여줍니다
  4. 완료되면 모델이 Downloaded Models 섹션으로 이동합니다

여러 모델을 동시에 다운로드할 수 있습니다. 진행 중인 다운로드를 취소하려면 해당 항목 옆의 Cancel 버튼을 클릭합니다.

다운로드한 모델을 삭제하려면 제거할 모델 옆의 Delete 버튼을 클릭합니다.

다운로드된 모든 모델은 프로젝트와 함께 패키징되므로, 프로젝트 크기를 줄이려면 더 이상 필요하지 않은 모델을 삭제하세요.

모델 선택

모바일/VR 플랫폼의 경우 Q4_K_M 양자화 수준의 작은 모델(1B–3B 파라미터)로 시작하세요. 데스크톱의 경우 Q4_K_M 또는 Q5_K_M 수준의 7B 모델이 품질과 성능 간의 좋은 균형을 제공합니다.

사용자 정의 모델 가져오기​

로컬 파일 시스템이나 URL에서 모든 GGUF 파일을 가져올 수 있습니다:

  1. 설정 패널 상단의 Import Custom Model 버튼을 클릭하세요
  2. 나타나는 대화 상자에서 모드를 선택하세요:
    • Import Local File: 디스크에서 .gguf 파일을 찾습니다
    • Download from URL: .gguf 파일에 대한 직접 URL을 입력합니다
  3. 모델 이름과 선택적인 설명/파라미터 수를 입력하세요
  4. Confirm을 클릭하여 가져오기 또는 다운로드를 시작하세요

로컬 파일을 임포트할 때, 플러그인은 Content/RuntimeLocalLLM/Models 디렉터리로 복사하고 메타데이터 사이드카 파일을 생성합니다. URL로부터 임포트할 때는, 플러그인이 해당 디렉터리로 파일을 직접 다운로드합니다.

커스텀 모델은 다운로드된 모델과 동일하게 취급되며 프로젝트와 함께 패키징됩니다.

에디터에서 모델 테스트​

플러그인에는 게임을 실행하지 않고도 빠르게 추론을 테스트할 수 있는 테스트 창이 포함되어 있습니다:

  1. 설정 패널 상단의 Test LLM 버튼을 클릭하세요.
  2. 테스트 창에서 디스크에 있는 모델 드롭다운에서 모델을 선택하세요.
  3. 추론 매개변수를 구성하세요 (온도, 최대 토큰 수, 시스템 프롬프트 등).
  4. 프롬프트를 입력하고 Send 버튼을 클릭하세요.
  5. 실시간으로 응답 스트리밍을 확인하세요.
  6. 생성을 취소하려면 Stop을, 대화를 초기화하려면 Clear를 클릭하세요.

이것은 게임 로직에 통합하기 전에 모델이 올바르게 작동하는지 확인하는 데 유용합니다.

패키징 설정​

모델을 다운로드하거나 가져오면 플러그인이 자동으로 프로젝트의 패키징 구성을 업데이트하여 Additional Non-Asset Directories To Copy (DirectoriesToAlwaysStageAsNonUFS)에 RuntimeLocalLLM/Models 디렉터리를 포함시킵니다. 이렇게 하면 모든 모델 파일이 패키징된 빌드와 함께 제공됩니다. 이것을 수동으로 구성할 필요가 없습니다.