많은 Google 제품에는 음성 인식이 사용됩니다. 예를 들어 Google 어시스턴트를 사용하여 음성으로 도움을 요청하고, Gboard를 통해 친구에게 보낼 메시지를 음성으로 입력하며, Google Meet에서는 회의의 대화 내용을 자막으로 자동 생성할 수 있습니다.
음성 기술은 더 정확하고 빠른 음성 인식 모델을 빌드하는 데 도움이 되는 머신러닝 유형인 심층신경망에 갈수록 더 의존하고 있습니다. 일반적으로 심층신경망이 제대로 작동하고 시간이 지남에 따라 개선되려면 대량의 데이터가 필요합니다. 이러한 개선 프로세스를 모델 학습이라고 합니다.
음성 모델을 학습시키는 데 사용하는 기술
Google의 음성팀은 기존 학습, 제휴 학습, 임시 학습 등 크게 3가지로 분류되는 기술로 음성 모델을 학습시킵니다. 작업 및 상황에 따라 그중 일부는 다른 것보다 더 효과적이며, 어떤 경우에는 이들을 조합해서 사용합니다. 이를 통해 개인 정보 보호 중심 설계를 제공하는 동시에 최고 수준의 품질을 달성할 수 있습니다.
기존 학습기존 학습 방식은 대부분의 음성 모델 학습 방식을 가리킵니다.
기존 학습이 음성 모델을 학습시키는 방식
- 명시적 동의가 있으면 오디오 샘플이 수집되어 Google 서버에 저장됩니다.
- 이러한 오디오 샘플의 일부는 검토자가 주석을 추가합니다.
- 학습 알고리즘은 주석 처리된 오디오 데이터 샘플로 학습합니다.
- 지도 학습: 모델은 동일한 오디오에 관한 검토자의 주석을 모방하도록 학습됩니다.
- 비지도 학습: 사람의 주석 대신 기계 주석이 사용됩니다.
같은 양의 데이터로 학습할 경우 지도 학습의 주석 품질이 우수할 때가 많으므로 비지도 학습보다 지도 학습에서 음성 인식 모델 결과가 더 좋게 나옵니다. 반면 비지도 학습은 더 쉽게 만들 수 있는 기계 주석으로 학습하므로 더 많은 오디오 샘플을 학습할 수 있습니다.
데이터를 비공개로 유지하는 방법
제휴 학습은 휴대전화 또는 기타 기기에서 직접 AI 모델을 학습시키기 위해 Google에서 개발한 개인 정보 보호 기법입니다. 기기에서 음성 모델이 실행되며 모델이 학습할 데이터가 있으면 Google은 제휴 학습을 사용하여 음성 모델을 학습시킵니다.
제휴 학습이 음성 모델을 학습시키는 방식
제휴 학습은 오디오 데이터를 Google 서버로 전송하지 않고 음성 모델을 학습시킵니다.
- 제휴 학습을 사용 설정하기 위해 Google은 오디오 데이터를 기기에 저장합니다.
- 학습 알고리즘은 기기에서 이 데이터를 학습합니다.
- 기기에서 집계된 학습 데이터와 다른 모든 참여 기기에서 학습한 결과를 조합하여 새로운 음성 모델을 구성합니다.
데이터를 비공개로 유지하는 방법
Google 어시스턴트를 개선할 때 사용되는 음성 및 오디오 데이터를 비공개로 유지하는 방법 알아보기임시 학습이 음성 모델을 학습시키는 방식
- Google 시스템에서 수신 오디오 샘플을 텍스트로 변환하면 이러한 샘플은 단기 메모리(RAM)로 전송됩니다.
- 데이터가 RAM에 있는 동안 학습 알고리즘은 이러한 오디오 데이터 샘플을 실시간으로 학습합니다.
- 이러한 오디오 데이터 샘플은 몇 분 내로 단기 메모리에서 삭제됩니다.
데이터를 비공개로 유지하는 방법
임시 학습의 경우 오디오 데이터 샘플은 다음과 같이 처리됩니다.
- 단기 메모리(RAM)에서만 몇 분 동안 보관됩니다.
- 사람이 액세스할 수 없습니다.
- 서버에 절대 저장되지 않습니다.
- 사용자를 식별할 수 있는 추가 데이터 없이 모델을 학습시키는 데 사용됩니다.
Google이 이러한 기술을 사용하고 투자하는 방식
Google은 3가지 기술을 모두 계속 사용하고 더 높은 품질을 위해 여러 기술을 결합하기도 할 예정입니다. 또한 음성 기술의 제휴 학습과 임시 학습을 모두 개선하기 위해 적극적으로 노력하고 있습니다. Google의 목표는 이를 더 효과적이고 유용하게 만들며 기본적으로 개인 정보를 보호하는 방식으로 유지하는 것입니다.