Transkrypcja i tłumaczenie w czasie rzeczywistym: jak działa mowa na tekst na żywo, jakie jest opóźnienie, co wpływa na dokładność i ile to kosztuje.
Transkrypcja w czasie rzeczywistym zamienia mowę w tekst, gdy osoba jeszcze mówi. Słowa pojawiają się na ekranie chwilę po wypowiedzeniu, osiadają w ostateczne linijki i może je czytać każdy, kto śledzi. Dodaj tłumaczenie w czasie rzeczywistym, a każdy czytelnik może śledzić tę samą wypowiedź we własnym języku, jako tekst lub czytaną na głos.
Ten poradnik omawia transkrypcję i tłumaczenie w czasie rzeczywistym z obu stron: co widzi słuchacz, skąd może pochodzić dźwięk, co decyduje o dokładności, co dostają deweloperzy z API i ile to kosztuje.
Transkrypcja w czasie rzeczywistym, zwana też transkrypcją na żywo lub mową na tekst na żywo, to rozpoznawanie mowy działające, gdy dźwięk jeszcze napływa. Nagrany plik można transkrybować, mając całe nagranie w ręku. Transkrypcja na żywo musi zdecydować o słowach, mając tylko ostatnie kilka sekund, i nadążać za mówcą, jak długo mówi.
Napisy na żywo to to samo, pokazane jako krótkie linijki nad wideo lub na ekranie.
W VocalStack transkrypcja na żywo może słuchać w 100 językach. Sama wykrywa język mówiony i podąża za mówcą, jeśli ten się przełączy, co wyjaśnia jak działa automatyczne wykrywanie języka, razem z tym, kiedy podać język z góry.
Tekst przychodzi w dwóch etapach. Najnowsze słowa pojawiają się najpierw jako wersja robocza, która może się jeszcze zmienić, gdy napłynie więcej dźwięku. Chwilę później wersja robocza osiada w ostateczną linijkę, która już się nie zmienia.
Wersja robocza istnieje, bo system rozpoznawania ocenia słowo częściowo po tym, co po nim następuje. "Ice cream" i "I scream" brzmią podobnie, dopóki nie nadejdzie następne słowo. Pokazanie wczesnej wersji to właśnie to, co sprawia, że transkrypt wydaje się żywy.
Jak bardzo tekst jest w tyle za mówcą, zależy od etapu:
Dwa opóźnienia leżą poza tym łańcuchem. Gdy źródłem jest publiczny stream, a nie mikrofon, sam stream jest już opóźniony względem żywej krawędzi: sekundę lub trzy dla zwykłego internetowego streamu radiowego i od kilku sekund do pół minuty dla HLS. A w planie Pay as you go transkrypcja na żywo może startować nawet 15 sekund. Pełny podział, razem z trybami opóźnienia Auto, Fast i Accuracy, jest w opóźnieniu tłumaczenia na żywo, wyjaśnionym.
Tłumaczenie działa na wierzchu transkrypcji. Transkrypcję na żywo można tłumaczyć na maksymalnie 10 języków naraz, wybranych spośród 100. Każdy słuchacz wybiera jeden z nich na własnym urządzeniu i może go w każdej chwili zmienić; dotychczasowy transkrypt jest wtedy pokazywany ponownie w nowym języku.
Każdy język jest tłumaczony z tej samej transkrypcji, więc każdy słuchacz dostaje te same słowa, a poprawka dociera do wszystkich.
Słuchacz, który woli słuchać niż czytać, może mieć każdą przetłumaczoną linijkę czytaną na głos. Domyślnie każdy mówca dostaje wyraźnie odmienny głos z katalogu, pasujący do jego płci, więc panel nadal brzmi jak kilka osób. Za zgodą mówcy gospodarz może sklonować jego głos z około 30 sekund jego samotnej wypowiedzi, a tłumaczenie jest wtedy czytane jego własnym głosem.
Zasada dla głosów jest celowo wąska. Głos czyta tylko to, co ta sama osoba powiedziała, w tłumaczeniu na język wybrany przez słuchacza. Nigdy nie czyta tekstu, który ktoś wpisze, i nigdy nie czyta słów jednego mówcy głosem innego.
Jak to działa dla całej sali, od konfiguracji gospodarza po spóźnionego słuchacza, opisuje jeden link, każdy język.
Transkrypcja na żywo potrzebuje źródła dźwięku. Oto te, które VocalStack przyjmuje dziś:
Napisy w odtwarzaczu YouTube, przez jego przycisk CC, są wkrótce dostępne. Do tego czasu widzowie streamu YouTube śledzą napisy pod linkiem do transmisji.
Jeśli potrzebujesz transkrypcji na żywo na Windows już dziś, działają tam rozszerzenie Chrome lub Edge, wtyczka OBS i panel w przeglądarce.
Transmisja to sposób, w jaki inni śledzą transkrypcję na żywo. To jeden link i kod QR. Słuchacze otwierają go w przeglądarce, wybierają język i czytają. Nie potrzebują konta, niczego nie instalują i nic nie kosztują: rachunek nie zmienia się wraz z liczbą słuchaczy ani języków.
Transmisja jest domyślnie publiczna i można ją zabezpieczyć hasłem. Jeśli zmienisz nazwę jej linku, stary nadal działa, więc kod QR wydrukowany w programie nie traci ważności. Jedna transmisja może obejmować kilka transkrypcji na żywo, więc dwie sceny mogą dzielić jeden link.
Słuchacz, który przychodzi późno, widzi wszystko, co padło przed jego wejściem, a potem śledzi na żywo. Później widok Audience pokazuje, kto słuchał, w jakim języku i kiedy dołączył.
Dla wydarzeń lista kontrolna wielojęzycznej konferencji opisuje dźwięk, sceny i budżet, a transkrypcja na żywo dla kościołów, sal wykładowych i sal obrad rad opisuje cotygodniową wersję tej samej konfiguracji.
Wszystko powyższe można zrobić z kodu. Dla dźwięku na żywo we własnej aplikacji API ma sesje czasu rzeczywistego: twój serwer wykonuje jedno wywołanie POST /v1/realtime/sessions z kluczem API i dostaje krótkotrwały streamUrl. Twój klient otwiera do niego WebSocket, wysyła surowy dźwięk w miarę nagrywania i odczytuje transkrypt z powrotem jako ramki JSON.
Ramki odpowiadają tym samym dwóm etapom, które widzi czytelnik. transcript.draft zastępuje żywy ogon, transcript.committed dodaje ostateczną linijkę, a przy włączonym tłumaczeniu całe zdania przychodzą z dołączonymi tłumaczeniami. Języki docelowe, etykiety mówców i tryb opóźnienia można zmieniać w trakcie sesji przez session.update.
Sesja czasu rzeczywistego niczego nie przechowuje. Gdy chcesz, aby słowa były zachowane, poprawiane i udostępniane publiczności, publikujesz dźwięk do transkrypcji na żywo i transmisji. Oficjalne SDK dla TypeScript, Python i PHP opakowują oba, a serwer MCP pozwala asystentowi AI korzystać z tego samego konta.
Samouczek WebSocket krok po kroku buduje działający widok napisów, a dokumentacja API zawiera każde pole. Użycie API jest rozliczane według tej samej stawki co panel.
Dokładność jest w większości rozstrzygana, zanim uruchomi się jakikolwiek system rozpoznawania, przez dźwięk, który dostaje. Największą różnicę robią cztery rzeczy.
Mikrofon. Mikrofon blisko mówcy albo sygnał z miksera sali niesie głos z niewielką ilością sali. Telefon na stole słyszy mówcę plus pogłos, krzesła i kaszel. To największy pojedynczy czynnik, a dlaczego telefon nie wystarcza na salę wyjaśnia dlaczego.
Hałas i nakładanie się głosów. Hałas w tle powoduje gubienie słów i wymyślanie nowych, a dwie osoby mówiące naraz mylą zarówno słowa, jak i to, kto je powiedział. Błędy transkrypcji dźwięku wymienia siedem częstych przyczyn, jak wygląda każda i jak ją naprawić.
Skrypt referencyjny. Powszechnie znane nazwy i terminy są rozpoznawane bez zmian. Nazwy produktów firmy, wewnętrzny akronim albo niezwykłe nazwisko gościa nie mogą być znane z góry, więc dodaj skrypt lub slajdy przed startem, a nazwy i terminy w nich będą zapisane dokładnie tak, jak je napisałeś.
Etykiety mówców. Etykiety mogą być Off, On albo When Needed, co włącza je, gdy usłyszany zostanie drugi mówca. Diaryzacja mówców a rozpoznawanie mowy wyjaśnia, jak dwie odpowiedzi, co powiedziano i kto to powiedział, są osobne i poprawiane osobno.
Znaczenie ma też tryb opóźnienia: Fast wyprowadza tekst wcześniej, ale częściej go poprawia, Accuracy czeka trochę dłużej.
Pojedyncza liczba dokładności mówi mniej, niż się wydaje. Współczynnik błędów słów liczy błędne nazwisko tak samo jak pominięte "the", dlatego co mierzy współczynnik błędów słów i czego nie dostrzega przekonuje, by oceniać system po tym, jakie błędy pozwala wyłapać i poprawić.
Żadna transkrypcja na żywo nie jest doskonała, więc ekran gospodarza ma kartę Fix. Może zaznaczać słowa, których system rozpoznawania nie był pewien, a każdą linijkę można otworzyć i poprawić. Druga osoba przy pulpicie może je przechodzić, gdy mówca mówi dalej.
Gdy gospodarz przepisze słowo lub linijkę, nawet tę jeszcze wypowiadaną, każdy słuchacz widzi poprawkę, w każdym języku. Linijka usłyszana z zbyt małą pewnością jest ukrywana przed słuchaczami jako "Audio unclear", zamiast być pokazana błędnie; gospodarz nadal ją widzi.
Nagranie jest zachowane razem z transkryptem, poprawkami i tłumaczeniami. Potem możesz:
Jak długo dźwięk i transkrypty są przechowywane, zależy od planu, a strona cennika to wymienia.
Większość narzędzi do transkrypcji na żywo wygląda podobnie w demo; różnice widać w pytaniach poniżej. Prawa kolumna opisuje VocalStack takim, jaki jest dziś.
| Pytanie | Dlaczego to ważne | VocalStack |
|---|---|---|
| Jakie języki słyszy? | Narzędzie, które nie transkrybuje języka mówcy, nie pomoże, jak dobre by nie było jego tłumaczenie. | 100 języków, wykrywanych automatycznie, z przełączaniem w trakcie wypowiedzi |
| Jak bardzo tekst jest w tyle za mówcą? | Czytelnicy zauważają rosnącą lukę bardziej niż sporadyczne błędne słowo. | Tekst oryginału o ułamek sekundy w tyle, tłumaczenie sekundę lub dwie później; trzy tryby opóźnienia |
| Czy tłumaczy i kto wybiera język? | Jeden język napisów na jednym ekranie pomija wszystkich pozostałych. | Do 10 języków na transkrypcję, każdy słuchacz wybiera swój |
| Czy może mówić tłumaczenie? | Niektórzy słuchacze nie mogą czytać albo wolą nie czytać. | Domyślnie głosy z katalogu; sklonowany głos mówcy za jego zgodą |
| Jak publiczność to dostaje? | Aplikacje i konta zniechęcają ludzi już przy wejściu. | Jeden link i kod QR, bez konta, opcjonalne hasło |
| Czy można poprawiać błędy na żywo? | Źle usłyszane nazwisko powtarzane przez godzinę robi prawdziwą szkodę. | Poprawki na żywo przekazywane każdemu słuchaczowi |
| Skąd może pochodzić dźwięk? | Twoja konfiguracja nie powinna zmieniać się pod narzędzie. | Mikrofon, rozszerzenia przeglądarki, aplikacja desktopowa, OBS, RTMP, linki do streamów |
| Czy jest API? | Możesz chcieć napisów w swoim własnym produkcie. | API REST i WebSocket, SDK, serwer MCP, ta sama stawka co w panelu |
| Jak wygląda cennik? | Cennik za słuchacza lub za miejsce rośnie wraz z publicznością. | Za sekundę dźwięku; słuchacze i języki bezpłatnie |
W VocalStack płacisz za sekundę transkrybowanego dźwięku. W chwili pisania transkrypcja na żywo kosztuje $0.60 za godzinę, a pliki $0.20 za godzinę, w każdym planie, zarówno w panelu, jak i przez API. Tłumaczenie, głosy, podsumowania, transmisje i słuchacze nigdy nie zwiększają rachunku, więc godzinne wystąpienie czytane przez 200 osób w pięciu językach kosztuje te same $0.60 co czytane przez nikogo.
Plany różnią się kilkoma rzeczami:
Jeśli nikt nie musi czytać na bieżąco, prześlij nagranie później według stawki za pliki. Aktualne ceny, okresy przechowywania i limity każdego planu są na stronie cennika.
Nowe konto VocalStack dostaje $5 środków na start i nie potrzebuje karty. Przy $0.60 za godzinę to około ośmiu godzin transkrypcji na żywo, z tłumaczeniem i transmisją w cenie. Potem płacisz za sekundę. Słuchacze są zawsze bezpłatni.
Tak. Transkrypcję na żywo można tłumaczyć na maksymalnie 10 języków naraz, gdy osoba mówi. Tłumaczenie pojawia się sekundę lub dwie po tekście oryginału, a każdy słuchacz wybiera swój język.
Zależy głównie od dźwięku. Najlepsze wyniki dają mikrofon blisko, sygnał z miksera, mało hałasu w tle, jedna osoba mówiąca naraz i skrypt referencyjny z nazwiskami. Poprawki na żywo pozwalają gospodarzowi naprawić to, co nadal jest błędne, gdy wystąpienie trwa.
Tekst w języku oryginału jest za mówcą o ułamek sekundy, a tłumaczenia następują sekundę lub dwie później. Publiczny stream dodaje własne opóźnienie, zanim dźwięk dotrze do VocalStack.
Tak, przez rozszerzenie Chrome lub Edge, wtyczkę OBS Studio albo panel w przeglądarce. Aplikacja desktopowa jest dziś na macOS, a Windows już wkrótce.
Nie. Słuchacze otwierają link do transmisji lub skanują jego kod QR w przeglądarce, wybierają język i czytają. Niczego nie trzeba instalować.
Otwórz panel, uruchom transkrypcję na żywo z mikrofonu i otwórz jej link do transmisji na telefonie. Środki na start pokrywają pierwsze godziny, a ty sam zobaczysz, jak wersje robocze osiadają, a tłumaczenie za nimi podąża.