Skip to main content
ACE-Step 1.5는 ACE Studio와 StepFun이 공개한 오픈소스 음악 생성 모델로, 텍스트 설명과 선택적 가사로 완성된 곡을 만듭니다. ComfyUI가 이를 기본 지원하므로 10초 루프부터 수 분 길이의 곡까지 로컬에서 생성할 수 있습니다. 모델의 핵심은 언어 모델 플래너와 Diffusion Transformer(DiT) 오디오 디코더의 조합입니다. 플래너는 간단한 입력을 곡 블루프린트로 확장하며 Chain-of-Thought 추론으로 구조, 메타데이터, 가사, 캡션을 만들어 내고, DiT가 오디오를 렌더링합니다. 정렬은 외부 보상 모델이나 사람의 선호 데이터가 아니라 모델 내부 메커니즘만으로 이루어집니다. 생성 속도는 대화형 작업에 충분합니다. A100에서는 한 곡에 2초 미만, RTX 3090에서는 10초 미만이 걸립니다. 4GB 미만 VRAM 구성에서는 LM 플래너가 비활성화된 DiT 단독 모드로 실행됩니다. 몇 곡만으로 LoRA를 학습해 자신만의 스타일을 담을 수 있습니다.
ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.이 가이드의 워크플로는 워크플로 템플릿에서 확인할 수 있습니다. 템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다.워크플로를 로드할 때 노드가 누락되는 경우, 가능한 원인:
  1. 최신 ComfyUI 버전(최신 테스트 버전(nightly))을 사용하고 있지 않음
  2. 일부 노드가 시작 시 가져오기에 실패함
모델 주요 특징:
  • 상업급 품질: 대부분의 상업용 음악 모델을 뛰어넘는 품질이며, 음악적 일관성 점수는 4.72
  • 빠른 생성 속도: A100에서 한 곡 2초 미만, RTX 3090에서 10초 미만
  • 장시간 출력: 10초에서 10분 길이까지 지원
  • 50개 이상의 언어: 영어, 중국어, 일본어, 한국어, 스페인어, 독일어, 프랑스어, 포르투갈어, 이탈리아어, 러시아어 지원
  • LoRA 미세조정: ComfyUI에서 LoRA 학습으로 간편한 개인화 지원

옵션 1: 올인원 체크포인트 (권장)

AIO 버전은 모든 모델을 하나의 체크포인트 파일에 묶어 제공하므로 다운로드와 관리가 더욱 용이합니다.

AIO 워크플로우

Comfy Cloud에서 실행

Comfy Cloud에서 열기

워크플로우 다운로드

JSON 다운로드 또는 템플릿 라이브러리에서 “ACE-Step 1.5 Music Generation AIO” 검색

AIO 모델 다운로드

ace_step_1.5_turbo_aio.safetensors

올인원 체크포인트 파일 (대부분의 사용자에게 권장).
AIO 모델 저장 위치

옵션 2: 분할 모델 파일

분할 버전은 개별 모델 구성 요소를 따로 다운로드할 수 있도록 합니다.

분할 워크플로우

Comfy Cloud에서 실행

Comfy Cloud에서 열기

워크플로우 다운로드

JSON 다운로드 또는 템플릿 라이브러리에서 “ACE-Step 1.5 Music Generation Workflow” 검색

분할 모델 다운로드

acestep_v1.5_turbo.safetensors

디퓨전 모델.

qwen_0.6b_ace15.safetensors

텍스트 인코더 (0.6B).

qwen_1.7b_ace15.safetensors

텍스트 인코더 (1.7B).

ace_1.5_vae.safetensors

VAE 모델.
분할 모델 저장 위치

ComfyUI에서 ACE-Step 1.5 주요 기능

사고의 연쇄 계획

ACE-Step 1.5 모델은 사고의 연쇄 추론을 통해 메타데이터, 가사, 캡션을 합성하여 디퓨전 과정을 안내하며, 더 일관성 있는 장편 곡을 만들어냅니다.

하이브리드 LM + DiT 아키텍처

ACE-Step 1.5는 곡 구조를 계획하는 언어 모델과 오디오 합성을 담당하는 디퓨전 트랜스포머(DiT)를 결합하며, 모두 ComfyUI에서 기본적으로 실행됩니다.

곧 ComfyUI에 추가될 기능

다음 기능들은 ACE-Step 1.5에 포함되어 있지만 아직 ComfyUI에서는 지원되지 않습니다:
  • 커버: 모델에 어떤 곡이든 입력으로 주고 새로운 프롬프트와 가사를 제공하면, 모델이 전혀 다른 스타일로 곡을 재구성합니다.
  • 재페인팅: 특정 구간을 선택해 해당 부분만 다시 생성하고, 모델은 나머지 부분은 그대로 유지하면서 이를 다시 연결합니다.

ACE-Step 1.5 ComfyUI 관련 자료