소리 AI

퓨렌스 만의 기술과 노하우로 기업 맞춤 AI 솔루션을 제공합니다.

여러 사람이 동시에 말하는 오디오에서 지도 학습 기반의 화자 분리 기법을 사용해 화자 별 음성 파일로 분리

학습 과정에서 화자의 수를 선택해서 유동적으로 원하는 화자의 수만큼 화자 분리 가능

  • 입력 음성으로부터 중첩된 segment를 구하고, 3D tensor를 구하기 위해 segment를 자르고 재정렬
  • 3D tensor를 양방향 LSTM에 넣어 요소별로 곱하고 선형 투영법을 적용
  • Skip connection을 활용해 원본 음성의 정보대로 동일한 크기의 tensor 추출하고 음원 복원

여러 사람의 음성 외에도 주변 소음이 있는 경우에도 각 화자 별 음성 분리 가능

화자
분리 모델

출력 채널의 화자 수를 고정하고 입력 음성을 LSTM block과 MULCAT block을 통과시키며 음원 분리

두 개의 양방향 RNN과 skip connection를 활용해 화자 분리 수행

모델 훈련용 데이터 준비

  • 각각의 사람이 말한 음성 데이터와 해당 사람들이 동시에 말하는 오디오인 Mixed 파일을 준비

화자 분리 모델 예측

  • 화자 분리 모델에 Mixed 파일을 넣어 화자 분리 진행

Clean 파일과 예측 결과 비교

  • 모델을 이용해 화자 분리한 오디오 파일과 Speaker1, 2, 3 파일을 비교하고 Loss Function 계산

화자 분리 모델 개선

  • Loss Function을 토대로 모델의 가중치를 조정하여 모델의 성능을 개선