음악 생성 AI의 경쟁이 오디오 품질만으로 판가름 나던 흐름에 변화가 감지된다. YuE2는 가사와 스타일을 먼저 편집 가능한 악보(symbolic score)로 변환한 뒤, 이를 바탕으로 보컬과 반주가 포함된 완성곡을 만들어내는 구조를 내세운다. 텍스트를 곧바로 파형으로 밀어붙이는 방식이 아니라, 멜로디·리듬·코드로 구성된 중간 단계의 '설계도'를 거친다는 점이 핵심이다. 개발진은 이를 기호(symbolic)와 오디오 생성을 하나의 파이프라인으로 통합한 접근이라고 설명한다.
왜 '기호적 설계'인가
기존의 상당수 음악 생성 모델은 프롬프트를 입력하면 곧바로 완성된 오디오를 출력한다. 결과물이 마음에 들지 않아도 사용자가 손댈 수 있는 지점이 프롬프트 재작성 정도로 제한적이다. 반면 YuE2가 강조하는 방식은 곡이 오디오로 렌더링되기 전에 멜로디, 리듬, 코드 진행이 담긴 악보 형태의 계획을 먼저 만들어낸다. 이 단계에서 템포, 가사, 편곡을 바꾸면 익숙한 곡도 다른 형태로 재구성될 수 있다는 것이 데모의 골자다. 실무 관점에서 보면, 결과물의 특정 구간만 수정하거나 편곡 방향을 조정하는 등 '대화하듯 곡을 다듬는' 작업 흐름을 상정한 설계로 읽힌다.
벤치마크가 말하는 것과 말하지 않는 것
성능 지표를 보면, YuE2의 best-of-8 설정은 WildSongBench(프롬프트 192개, 시스템 설정 15종) 기반의 SongBench에서 평균 6.9632를 기록해 평가된 15개 설정 가운데 가장 높은 값을 보였다고 소개된다. 같은 비교에서 Suno v5는 6.8721을 받았다. 다만 여기에는 해석에 주의가 필요한 단서가 붙어 있다. best-of-8은 여덟 번 생성한 결과 중 음악성, 프롬프트 제어, 가사 정확도를 기준으로 하나를 고르는 방식이며, 점수는 자동 평가 결과다. 2026년 9월 5일자 평가라는 시점 표기와 함께 '지표에 따라 순위가 달라진다'는 단서도 명시돼 있어, 단일 수치를 절대적 우열로 받아들이기는 어렵다. 사람이 직접 여러 후보 중 최선을 고르는 조건이 반영된 점수라는 사실은, 실제 단발 생성 품질과 구분해서 볼 필요가 있음을 시사한다.
YuE2는 완성곡 생성 외에 음악 이해·표현을 담당하는 구성 요소도 함께 공개했다. 표현 학습 모델인 MERT2는 30초 학습 문맥의 30s 버전과 300초 문맥의 FS(full-song) 버전으로 나뉘며, 두 인코더 모두 6억3200만 개 파라미터 규모다. 이들은 MARBLE 벤치마크 15개 지표 중 14개에서 최고 성적을 기록했다고 밝혔는데, 여기서의 SOTA 집계는 두 인코더 중 더 나은 점수를 아홉 개 공개 기준선과 비교한 결과라는 점을 함께 짚어둔다. 태깅, 조성(key), 장르, 감정 인식 등 분류성 과제에서 강점을 보였다.
전사(transcription)까지 하나의 모델로
악보 전사 쪽에서는 SheetSage2가 비트, 다운비트, 조성, 코드, 구조, 멜로디를 단일 모델로 처리해 13개 지표 중 10개에서 최고 성적을 냈다고 소개된다. 비교 대상은 이전 버전인 SheetSage1과 Madmom, 그리고 과제별 특화 시스템들이다. 다만 코드 인식 벤치마크(Chords1217)에서는 비교 모델인 ChordFormer가 5-겹 교차검증을 쓰는 반면 SheetSage2는 고정된 단일 모델로 1,217개 트랙 전체를 평가했다는 조건 차이가 있어, 수치를 나란히 놓을 때 평가 방식의 비대칭성을 고려해야 한다. 하나의 모델로 여러 전사 과제를 아우른다는 점은 파이프라인 단순화 측면에서 의미가 있다.
데이터 출처도 눈여겨볼 대목이다. YuE2 계열 모델은 저작권을 포기한 CC0 음악과 합성 데이터를 중심으로 학습됐고, 합성 학습 데이터의 상당 부분은 Tokenwave.AI가 라이선스 형태로 제공했다고 밝혔다. 음악 생성 AI를 둘러싼 저작권 논란이 끊이지 않는 상황에서, 학습 데이터의 성격을 명시한 것은 도입을 검토하는 실무자 입장에서 위험 평가의 출발점이 될 수 있다.
정리하면 YuE2의 차별점은 단일 품질 수치보다 '편집 가능한 중간 표현을 파이프라인의 중심에 둔 설계'에 있다. 생성·이해·전사를 하나의 계열로 묶으려는 시도는 워크플로 통합 측면에서 매력적이지만, 공개된 성적은 best-of-8 선별과 자동 평가, 시점 및 비교 조건이라는 전제 위에 있다. 실제 제작 현장에 적용할 때는 데모가 보여주는 편집성이 어느 범위까지 안정적으로 재현되는지, 그리고 단발 생성 품질이 어떤지를 직접 검증하는 절차가 필요하다.