퓨렌스가 지난 10월 22일부터 24일까지 강원도 강릉 세인트존스호텔에서 개최된 「2026 한국인터넷정보학회 추계학술발표대회」에 참가하여 AI 화자 분리 기술에 관한 연구 성과를 발표하였습니다.
이번 학술대회에서 퓨렌스는 「선택적 전이 학습을 활용한 다중 스케일 화자 분리(MSDD) 파이프라인 최적화」 를 주제로 연구 결과를 발표했습니다.
본 연구는 신현삼 대표님과 더불어 정승기 팀장과 김동준 매니저가 공동으로 수행한 연구로, 제한된 학습 데이터 환경에서도 효율적으로 화자 분리 성능을 개선할 수 있는 최적화 방법을 제안하고 그 효과를 실험적으로 검증하였습니다.
AI 화자분리, 왜 중요할까요?
최근 AI 회의록, 통화 분석, 컨택센터 등 다양한 분야에서 음성 AI 기술의 활용이 확대되고 있습니다.
음성 인식(STT)이 ‘무엇을 말했는가’를 텍스트로 변환하는 기술이라면, 화자 분리(Speaker Diarization)는 ‘누가 언제 말했는가’를 구분하는 기술입니다.
특히 여러 사람이 동시에 대화하는 회의나 상담 환경에서는 발화자의 정확한 구분이 AI 음성 분석 서비스의 품질을 결정하는 중요한 요소입니다.
하지만 실제 서비스 환경에 적합한 화자 분리 모델을 구축하려면 충분한 학습 데이터가 필요하며, 데이터가 부족한 상황에서 모델 전체를 학습할 경우 오히려 성능이 저하되는 문제가 발생할 수 있습니다.
퓨렌스는 이러한 문제에 주목하여 적은 데이터로도 기존 모델의 범용성을 유지하면서 화자 분리 정확도를 높일 수 있는 방법을 연구하였습니다.
선택적 전이 학습을 통한 효율적인 AI 모델 최적화
이번 연구의 핵심은 모든 모델을 무조건 재학습하는 대신, 성능 개선이 필요한 부분만 선택적으로 학습하는 ‘선택적 전이 학습(Selective Transfer Learning)’ 전략입니다.
연구에서는 화자 분리 파이프라인의 주요 구성 요소 중 음성 구간을 검출하는 VAD 모델과 화자의 발화 경계 및 겹침 구간을 처리하는 MSDD 디코더를 선택적으로 미세조정하였습니다.
반면, 화자의 고유한 음성 특징을 추출하는 임베딩 모델은 기존의 사전 학습된 가중치를 유지하여 범용적인 화자 구분 능력을 보존하도록 설계하였습니다.
여기에 베이지안 기반 하이퍼파라미터 최적화를 적용하여 각 모델의 설정값을 자동으로 탐색하고, 전체 파이프라인의 오류율을 최소화하는 조합을 도출하였습니다.
또한 한국어 음성 데이터에 다양한 화자의 발화와 겹침 구간을 합성하고, 배경 소음과 공간 잔향을 추가하는 데이터 증강 기법을 활용하여 연구를 진행하였습니다.
연구 결과, 화자 분리 오류율 약 22.4% 감소
연구에서는 네 가지 학습 및 최적화 조건을 비교하여 제안한 방법의 효과를 검증하였습니다.
그 결과, 별도의 미세조정을 적용하지 않은 기본 모델의 화자 분리 오류율(DER)은 13.59%였으나, 선택적 전이 학습과 베이지안 최적화를 함께 적용한 최종 모델에서는 10.54%를 기록하였습니다.
이는 기존 대비 3.05%포인트, 상대적으로 약 22.4%의 오류율 감소에 해당합니다.
특히 모델 전체를 미세조정한 경우에는 오류율이 19.40%로 오히려 증가한 반면, 필요한 모듈만 선택적으로 학습했을 때 성능이 개선되는 것을 확인하였습니다.
이번 실험 결과는 제한된 데이터 환경에서 모델의 모든 구성 요소를 학습하는 것보다, 기존 모델의 범용성을 보존하면서 필요한 부분만 최적화하는 전략이 효과적일 수 있음을 보여줍니다.
해당 성능 수치는 연구에서 구성한 한국어 다화자 합성 평가 데이터 환경을 기준으로 측정한 결과입니다.
지속적인 R&D를 통한 음성 AI 기술 고도화
이번 학술 발표는 퓨렌스가 연구하고 있는 AI 화자 분리 기술의 최적화 방법을 학술적으로 공유하고, 데이터 효율적인 모델 학습의 가능성을 확인했다는 점에서 의미가 있습니다.
퓨렌스는 AI 회의록 및 음성 분석 서비스의 핵심 요소인 화자 분리 기술을 지속적으로 연구하고 있으며, 다양한 실제 음성 환경에서도 안정적인 성능을 확보하기 위한 기술 고도화를 추진하고 있습니다.
향후에는 대규모 한국어 회의 및 통화 데이터를 활용한 추가 검증과 함께, 실시간 음성 서비스 적용을 위한 추론 속도 개선 및 파이프라인 경량화 연구를 이어갈 계획입니다.
퓨렌스는 앞으로도 지속적인 AI 기술 연구개발을 통해 더욱 정확하고 신뢰할 수 있는 음성 AI 서비스를 제공할 수 있도록 노력하겠습니다.
