실시간 전사와 번역의 원리, 지연 시간, 정확도에 영향을 주는 요소, 비용을 설명합니다.
실시간 전사는 사람이 아직 말하는 동안 음성을 텍스트로 바꿉니다. 말한 지 얼마 지나지 않아 단어가 화면에 나타나고, 확정된 줄로 자리 잡으며, 따라오는 누구나 읽을 수 있습니다. 실시간 번역을 더하면 각 독자가 같은 연설을 자기 언어로, 글이나 소리로 따라갈 수 있습니다.
이 가이드는 실시간 전사와 번역을 양쪽에서 다룹니다. 청취자가 보는 것, 음성이 어디서 올 수 있는지, 정확도를 좌우하는 것, 개발자가 API에서 얻는 것, 그리고 비용입니다.
실시간 전사는 실시간 음성 텍스트 변환 또는 라이브 전사라고도 하며, 오디오가 아직 들어오는 동안 실행되는 음성 인식입니다. 녹음된 파일은 녹음 전체를 가진 상태에서 전사할 수 있습니다. 실시간 전사는 최근 몇 초만을 근거로 단어를 확정해야 하고, 화자가 말하는 내내 속도를 따라가야 합니다.
라이브 자막은 같은 것을 동영상 위나 화면에 짧은 줄로 보여 주는 것입니다.
VocalStack에서 실시간 전사는 100개 언어를 들을 수 있습니다. 사용된 언어를 스스로 감지하고 화자가 언어를 바꾸면 따라가며, 이는 자동 언어 감지가 작동하는 방식에서 언어를 미리 지정해야 하는 경우와 함께 설명합니다.
텍스트는 두 단계로 도착합니다. 가장 새로운 단어는 먼저 초안으로 나타나며, 더 많은 오디오가 들어오면 바뀔 수 있습니다. 잠시 뒤 초안은 더 이상 바뀌지 않는 확정된 줄로 자리 잡습니다.
초안이 있는 이유는 인식기가 단어를 부분적으로 그 뒤에 오는 말로 판단하기 때문입니다. "Ice cream"과 "I scream"은 다음 단어가 올 때까지 비슷하게 들립니다. 추측을 일찍 보여 주는 것이 전사를 실시간처럼 느끼게 합니다.
텍스트가 화자보다 얼마나 늦는지는 단계에 따라 다릅니다.
그 연쇄 밖에 두 가지 지연이 있습니다. 소스가 마이크가 아니라 공개 스트림일 때는 스트림 자체가 이미 라이브 끝에서 뒤처져 있습니다. 일반 인터넷 라디오 스트림은 1~3초, HLS는 몇 초에서 30초까지입니다. 또한 종량제에서는 실시간 전사가 시작되는 데 최대 15초가 걸릴 수 있습니다. Auto, Fast, Accuracy 지연 모드를 포함한 자세한 내용은 실시간 번역 지연 시간 설명에 있습니다.
번역은 전사 위에서 실행됩니다. 실시간 전사는 100개 언어 중에서 고른 최대 10개 언어로 동시에 번역할 수 있습니다. 각 청취자는 그중 하나를 자기 기기에서 고르고 언제든 바꿀 수 있으며, 지금까지의 전사본이 새 언어로 다시 표시됩니다.
모든 언어가 같은 전사본에서 번역되므로 모든 청취자가 같은 말을 받고, 수정은 모두에게 반영됩니다.
읽기보다 듣기를 선호하는 청취자는 번역된 줄을 하나씩 소리 내어 읽게 할 수 있습니다. 기본적으로 화자마다 성별이 맞는 서로 다른 기본 음성이 배정되므로 패널 토론도 여러 사람처럼 들립니다. 화자가 동의하면 진행자는 그 화자가 혼자 말하는 약 30초 분량으로 목소리를 복제할 수 있고, 번역은 그 화자 본인의 목소리로 읽힙니다.
음성에 관한 규칙은 의도적으로 좁습니다. 목소리는 그 사람이 한 말만, 청취자가 고른 언어로 번역해서 읽습니다. 누군가 입력한 텍스트를 읽는 일은 없고, 한 화자의 말을 다른 화자의 목소리로 읽는 일도 없습니다.
진행자의 설정부터 늦게 들어온 청취자까지, 한 공간 전체에서 이것이 어떻게 작동하는지는 링크 하나, 모든 언어에 있습니다.
실시간 전사에는 오디오 소스가 필요합니다. VocalStack이 현재 받는 소스는 다음과 같습니다.
YouTube 자체 플레이어 안의 CC 버튼을 통한 자막은 곧 제공됩니다. 그때까지 YouTube 스트림 시청자는 방송 링크에서 자막을 따라갑니다.
오늘 Windows에서 실시간 전사가 필요하다면 Chrome 또는 Edge 확장 프로그램, OBS 플러그인, 브라우저의 대시보드가 모두 작동합니다.
방송은 다른 사람이 실시간 전사를 따라가는 방법입니다. 링크 하나와 QR 코드 하나입니다. 청취자는 브라우저에서 열어 언어를 고르고 따라 읽습니다. 계정이 필요 없고 설치할 것도 없으며 비용도 들지 않습니다. 청취자 수나 언어 수에 따라 청구액이 달라지지 않습니다.
방송은 기본적으로 공개이며 비밀번호로 보호할 수 있습니다. 링크 이름을 바꿔도 이전 링크가 계속 작동하므로 프로그램 안내서에 인쇄한 QR 코드가 쓸모없어지지 않습니다. 방송 하나에 여러 실시간 전사를 담을 수 있어서 두 무대가 링크 하나를 공유할 수 있습니다.
늦게 도착한 청취자는 입장하기 전에 말해진 모든 내용을 본 다음 실시간으로 따라갑니다. 끝난 뒤에는 Audience 보기에서 누가 어떤 언어로 들었고 언제 들어왔는지 확인할 수 있습니다.
행사의 경우 다국어 컨퍼런스 체크리스트가 음향, 무대, 예산을 다루고, 교회, 강의실, 시의회 회의장을 위한 실시간 전사가 같은 설정의 매주 반복 버전을 다룹니다.
위의 모든 것은 코드로 할 수 있습니다. 자신의 앱에 실시간 오디오를 넣으려면 API에 realtime 세션이 있습니다. 서버가 API 키로 POST /v1/realtime/sessions를 한 번 호출하면 수명이 짧은 streamUrl이 돌아옵니다. 클라이언트는 그 주소로 WebSocket을 열고 캡처되는 대로 원시 오디오를 보내며, 전사본을 JSON 프레임으로 읽어 들입니다.
프레임은 독자가 보는 것과 같은 두 단계를 따릅니다. transcript.draft는 실시간 끝부분을 교체하고, transcript.committed는 확정된 줄을 추가하며, 번역이 켜져 있으면 번역이 붙은 완전한 문장이 도착합니다. 대상 언어, 화자 레이블, 지연 모드는 session.update로 세션 도중에 바꿀 수 있습니다.
realtime 세션은 아무것도 저장하지 않습니다. 단어를 보관하고, 고치고, 청중과 공유하고 싶다면 오디오를 실시간 전사와 방송에 게시하세요. TypeScript, Python, PHP용 공식 SDK가 둘 다 감싸고 있으며, MCP 서버는 AI 어시스턴트가 같은 계정을 쓰게 해 줍니다.
WebSocket 튜토리얼은 동작하는 자막 화면을 단계별로 만들고, API 레퍼런스에는 모든 필드가 있습니다. API 사용량은 대시보드와 같은 요율로 청구됩니다.
정확도는 인식기가 실행되기 전에 대부분 결정되며, 인식기가 받는 오디오에 달려 있습니다. 네 가지가 가장 큰 차이를 만듭니다.
마이크. 화자에게 가까운 마이크나 행사장 믹싱 데스크의 신호는 공간의 소리를 거의 담지 않은 목소리를 전달합니다. 테이블 위의 휴대폰은 화자와 함께 반향, 의자, 기침 소리까지 듣습니다. 이것이 가장 큰 단일 요인이며, 이유는 휴대폰으로는 한 공간에 충분하지 않은 이유에서 설명합니다.
소음과 겹침. 배경 소음은 빠진 단어와 지어낸 단어를 만들고, 두 사람이 동시에 말하면 단어와 누가 말했는지가 모두 혼란스러워집니다. 오디오 전사 오류는 흔한 일곱 가지 원인, 각각의 모습, 고치는 방법을 나열합니다.
Reference Script. 잘 알려진 이름과 용어는 있는 그대로 인식됩니다. 회사의 제품명, 사내 약어, 게스트의 낯선 성은 미리 알 수 없으므로 시작하기 전에 스크립트나 슬라이드를 추가하세요. 그 안의 이름과 용어가 입력한 그대로 쓰입니다.
화자 레이블. 레이블은 Off, On, When Needed가 될 수 있으며, When Needed는 두 번째 화자가 들리면 켜집니다. 화자 분리 대 음성 인식은 무엇을 말했는지와 누가 말했는지라는 두 가지 답이 어떻게 별개이며 따로 고쳐지는지를 설명합니다.
지연 모드도 중요합니다. Fast는 텍스트를 더 빨리 내보내지만 더 많이 수정하고, Accuracy는 조금 더 기다립니다.
하나의 정확도 수치는 보이는 것보다 말해 주는 바가 적습니다. 단어 오류율은 틀린 이름도 빠진 "the"와 똑같이 센다는 점 때문에, 단어 오류율이 측정하는 것과 놓치는 것은 시스템이 어떤 오류를 잡아 고치게 해 주는지로 평가해야 한다고 주장합니다.
완벽한 실시간 전사는 없으므로 진행자 화면에는 Fix 탭이 있습니다. 인식기가 확신하지 못한 단어를 표시할 수 있고, 어떤 줄이든 열어서 고칠 수 있습니다. 화자가 계속 말하는 동안 데스크의 다른 사람이 이를 하나씩 처리할 수 있습니다.
진행자가 단어나 줄을, 아직 말해지고 있는 줄이라도 다시 쓰면 모든 청취자가 모든 언어로 그 수정을 봅니다. 신뢰도가 너무 낮게 들린 줄은 틀리게 보여 주는 대신 청취자에게 "Audio unclear"로 숨겨지며, 진행자에게는 계속 보입니다.
녹음은 전사본, 수정, 번역과 함께 보관됩니다. 이후 다음을 할 수 있습니다.
오디오와 전사본의 보관 기간은 요금제에 따라 다르며, 요금제 페이지에 나와 있습니다.
대부분의 실시간 전사 도구는 데모에서는 비슷해 보입니다. 차이는 아래 질문에서 드러납니다. 오른쪽 열은 VocalStack의 현재 모습을 설명합니다.
| 질문 | 중요한 이유 | VocalStack |
|---|---|---|
| 어떤 언어를 들을 수 있나요? | 화자의 언어를 전사하지 못하는 도구는 번역이 아무리 좋아도 도움이 되지 않습니다. | 100개 언어, 자동 감지, 말하는 도중 전환 |
| 텍스트가 화자보다 얼마나 늦나요? | 독자는 가끔 틀린 단어보다 점점 벌어지는 간격을 더 잘 알아챕니다. | 원문 텍스트는 1초 미만, 번역은 1~2초 뒤, 세 가지 지연 모드 |
| 번역하나요, 그리고 누가 언어를 고르나요? | 화면 하나에 자막 언어 하나뿐이면 나머지 모두가 배제됩니다. | 전사당 최대 10개 언어, 각 청취자가 자기 언어를 고름 |
| 번역을 소리로 읽어 주나요? | 일부 청취자는 읽으며 따라갈 수 없거나 그러고 싶지 않습니다. | 기본은 기본 음성, 화자가 동의하면 화자 본인의 복제 음성 |
| 청중은 어떻게 받나요? | 앱과 계정은 입구에서 사람을 잃게 합니다. | 링크 하나와 QR 코드, 계정 없음, 선택적 비밀번호 |
| 실시간으로 오류를 고칠 수 있나요? | 잘못 들린 이름이 한 시간 동안 반복되면 실제 피해가 생깁니다. | 모든 청취자에게 전달되는 실시간 수정 |
| 오디오는 어디서 올 수 있나요? | 도구에 맞추려고 설정을 바꿔야 해서는 안 됩니다. | 마이크, 브라우저 확장 프로그램, 데스크톱 앱, OBS, RTMP, 스트림 링크 |
| API가 있나요? | 자체 제품 안에 자막을 넣고 싶을 수 있습니다. | REST 및 WebSocket API, SDK, MCP 서버, 대시보드와 같은 요율 |
| 가격은 어떻게 책정되나요? | 청취자당 또는 좌석당 가격은 청중이 늘수록 커집니다. | 오디오 초 단위, 청취자와 언어는 무료 |
VocalStack에서는 전사된 오디오의 초 단위로 지불합니다. 이 글을 쓰는 시점에서 실시간 전사는 시간당 $0.60이고 파일은 시간당 $0.20이며, 모든 요금제에서 대시보드와 API 모두 같습니다. 번역, 음성, 요약, 방송, 청취자는 청구액에 영향을 주지 않으므로, 200명이 다섯 개 언어로 읽는 한 시간짜리 강연도 아무도 읽지 않는 강연과 같은 $0.60입니다.
요금제는 몇 가지 점에서 다릅니다.
진행 중에 아무도 읽을 필요가 없다면 나중에 녹음을 파일 요율로 업로드하세요. 각 요금제의 현재 가격, 보관 기간, 한도는 요금제 페이지에 있습니다.
새 VocalStack 계정에는 가입 크레딧 $5가 포함되며 카드가 필요 없습니다. 시간당 $0.60이면 번역과 방송이 포함된 약 8시간의 실시간 전사입니다. 그 이후에는 초 단위로 지불합니다. 청취자는 항상 무료입니다.
네. 실시간 전사는 사람이 말하는 동안 최대 10개 언어로 동시에 번역할 수 있습니다. 번역은 원문 텍스트보다 1~2초 뒤에 나타나며, 각 청취자가 자기 언어를 고릅니다.
주로 오디오에 달려 있습니다. 가까운 마이크나 데스크 신호, 적은 배경 소음, 한 번에 한 사람의 발언, 이름이 들어 있는 Reference Script가 가장 좋은 결과를 줍니다. 실시간 수정을 통해 진행자는 강연이 이어지는 동안 여전히 틀린 부분을 고칠 수 있습니다.
원어 텍스트는 화자보다 1초도 안 되게 늦고, 번역은 1~2초 뒤에 따라옵니다. 공개 스트림은 오디오가 VocalStack에 닿기 전에 자체 지연을 더합니다.
네, Chrome 또는 Edge 확장 프로그램, OBS Studio 플러그인, 또는 브라우저의 대시보드로 가능합니다. 데스크톱 앱은 현재 macOS용이며 Windows는 곧 제공됩니다.
아니요. 청취자는 브라우저에서 방송 링크를 열거나 QR 코드를 스캔해 언어를 고르고 읽습니다. 설치할 것이 없습니다.
대시보드를 열고 마이크로 실시간 전사를 시작한 뒤 휴대폰에서 그 방송 링크를 열어 보세요. 가입 크레딧으로 첫 몇 시간은 충분하며, 초안이 확정되고 번역이 뒤따르는 모습을 직접 볼 수 있습니다.