알리바바, 16개 언어 지원 ‘큐원-오디오-3.0-TTS’ 공개… "스피치 아레나 1위"

알리바바가 실시간 대화형 AI와 콘텐츠 제작 시장을 동시에 겨냥한 차세대 텍스트 음성 변환(TTS) 모델을 공개했다. 알리바바는 20일(현지시간) 실시간 대화와 고품질 음성 생성을 모두 지원하는 ‘큐원-오디오-3.0-TTS(Qwen-Audio-3.0-TTS)’를 공개했다. 실시간 응답에 최적화된 ‘플래시(Flash)’와 음질 중심의 ‘플러스(Plus)’ 두 가지 모델을 동시에 선보였다. 특히, 플러스 모델은 독립 벤치마크인 아티피셜 애널리시스 TTS 리더보드에서 1위를 차지하며 성능을 입증했다. 이번 모델은 다운로드 형태의 오픈 웨이트가 아니라 알리바바 클라우드 모델 스튜디오(Model Studio)를 통해 API를 제공하는 호스팅 서비스로 출시됐다. 개발자는 양방향 웹소켓(WebSocket) 스트리밍 API를 통해 PCM, WAV, MP3, Opus 형식을 지원받을 수 있으며, 음성 복제, 음성 설계(Voice Design), 지시 기반 음성 생성 기능도 활용할 수 있다. 알리바바가 두 가지 모델을 내놓은 것은 실시간성과 음질이라는 서로 다른 요구를 충족하기 위해서다. 플래시는 첫 음성 패킷 생성 지연 시간을 약 300밀리초(ms) 수준으로 줄여 실시간 대화 서비스에 적합하도록 설계됐다. 반면 플러스는 자연스러움과 화자 음색 재현에 초점을 맞춰 오디오북, 더빙, 내레이션 등 고품질 콘텐츠 제작에 적합하다. 영어, 중국어, 일본어, 한국어를 비롯해 아랍어, 프랑스어, 독일어, 인도네시아어, 이탈리아어, 말레이어, 포르투갈어, 러시아어, 스페인어, 타갈로그어, 태국어, 베트남어 등 총 16개 언어를 지원한다. 이전 세대보다 7개 언어가 추가됐으며, 중국 내 20개 방언 지역에 대한 음성 품질도 개선했다. 성능 면에서도 경쟁력을 보였다. 다국어 음성 인식 정확도를 나타내는 'WER/CER(단어·문자 오류율)' 평가에서는 16개 언어 가운데 10개 언어에서 최고 성능을 기록했다. 플래시 모델은 평균 오류율 3.87, 플러스는 3.96을 기록해 경쟁 모델을 앞섰다. 화자 음색 유지 능력을 평가하는 '화자 유사성(Speaker Similarity)'에서는 플러스가 평균 82.75점, 플래시가 80.44점으로 16개 언어 모두에서 최상위권을 차지했다. 사용성도 크게 향상됐다. 기존처럼 음향 파라미터를 세밀하게 조정할 필요 없이 "차분한 뉴스 앵커처럼" "신나는 분위기로"와 같은 자연어 지시만으로 감정과 말투, 속도, 역할을 제어할 수 있다. 여기에 [laughing] [gasp] [angry] [whispers] 등 총 86개의 세밀한 인라인 태그를 제공해, 웃음과 한숨, 숨소리, 기침 등 비언어적 표현까지 문장 중간에 자유롭게 삽입할 수 있어 게임, 더빙, 오디오북 제작 등에 활용도를 높였다. 음성 복제 기능도 개선됐다. 실제 환경에서 녹음한 참고 음성에 포함된 잡음과 잔향을 제거하는 음향 시뮬레이션 학습을 적용해 깨끗하지 않은 음성에서도 원래 화자의 음색을 유지하면서 노이즈를 효과적으로 제거할 수 있도록 했다. 또 별도의 음성 복제 없이도 사용할 수 있는 16개 언어용 기본 음성 라이브러리를 제공하며, 앞으로 48kHz 고음질 출력도 지원할 예정이다. 기술적으로는 초당 처리해야 하는 음성 토큰 수를 줄이는 12.5Hz 저프레임 음성 토크나이저를 도입해 추론 지연 시간을 낮췄으며, 언어모델과 플로우 매칭(Flow Matching)을 결합한 5단계 점진적 학습 방식을 적용해 음성 자연스러움과 화자 재현율, 강인성을 함께 향상했다. 또 최대 3분 길이의 장문 음성을 한 번에 생성하는 기능과 복잡한 텍스트 정규화, 48kHz 음성 초해상도(vocoder super-resolution) 기능도 포함했다. 가격 경쟁력도 강점으로 꼽힌다. 플러스 모델은 100만 문자당 27.59달러로 책정돼, 품질 면에서 앞선 일부 경쟁 서비스 대비 약 3분의 1 수준의 비용을 제시했다. 다만 생성 속도는 초당 약 16자로, 일부 경쟁 모델보다 다소 느리다는 점은 한계로 지적된다. 박찬 기자 cpark@aitimes.com