Realtidstranskribering och översättning: hur tal till text live fungerar, hur långt efter det ligger, vad som påverkar noggrannheten och vad det kostar.
Realtidstranskribering gör tal till text medan personen fortfarande talar. Orden dyker upp på skärmen strax efter att de sagts, sätter sig till slutgiltiga rader och kan läsas av alla som följer med. Lägg till översättning i realtid så kan varje läsare följa samma tal på sitt eget språk, som text eller uppläst.
Den här guiden går igenom realtidstranskribering och översättning från båda sidor: vad en lyssnare ser, varifrån ljudet kan komma, vad som avgör noggrannheten, vad utvecklare får av ett API och vad det kostar.
Realtidstranskribering, även kallad livetranskribering eller tal till text i realtid, är taligenkänning som körs medan ljudet fortfarande kommer in. En inspelad fil kan transkriberas med hela inspelningen i handen. En livetranskribering måste fastställa orden med bara de senaste sekunderna att gå på, och hålla jämna steg med talaren så länge hen talar.
Livetextning är samma sak visad som korta rader över en video eller på en skärm.
I VocalStack kan en livetranskribering lyssna på 100 språk. Den identifierar det talade språket själv och följer talaren om hen byter, vilket hur automatisk språkidentifiering fungerar förklarar, tillsammans med när du bör ange språket i förväg.
Texten kommer i två steg. De nyaste orden visas först som ett utkast, som fortfarande kan ändras när mer ljud kommer in. Ett ögonblick senare sätter sig utkastet till en slutgiltig rad som inte ändras igen.
Utkastet finns eftersom en taligenkännare avgör ett ord delvis utifrån det som följer efter. "Glass" och "klass" kan låta lika tills nästa ord kommer. Att visa gissningen tidigt är det som får ett transkript att kännas levande.
Hur långt efter talaren texten ligger beror på steget:
Två fördröjningar ligger utanför den kedjan. När källan är en offentlig ström i stället för en mikrofon ligger strömmen redan efter sin livekant: en till tre sekunder för en vanlig internetradioström, och allt från flera sekunder till en halv minut för HLS. Och på Pay as you go kan en livetranskribering ta upp till 15 sekunder att starta. Hela uppdelningen, inklusive latenslägena Auto, Fast och Accuracy, finns i fördröjning vid liveöversättning, förklarad.
Översättningen körs ovanpå transkriptet. En livetranskribering kan översättas till upp till 10 språk samtidigt, valda bland 100. Varje lyssnare väljer ett av dem på sin egen enhet och kan byta när som helst; transkriptet hittills visas på nytt på det nya språket.
Varje språk översätts från samma transkript, så alla lyssnare får samma ord, och en rättelse når dem alla.
En lyssnare som hellre lyssnar än läser kan låta varje översatt rad läsas upp. Som standard får varje talare en egen standardröst som matchar hens kön, så en paneldebatt låter fortfarande som flera personer. Med en talares samtycke kan en värd klona talarens röst från ungefär 30 sekunder av hen som talar ensam, och översättningen läses då upp med hens egen röst.
Regeln för röster är snäv med flit. En röst läser bara upp det som samma person har sagt, översatt till ett språk som lyssnaren valt. Den läser aldrig text som någon skriver in, och den läser aldrig en talares ord med en annan talares röst.
Hur det här fungerar för ett helt rum, från värdens uppsättning till en sen ankomst, finns i en länk, alla språk.
En livetranskribering behöver en ljudkälla. Det här är de som VocalStack tar emot i dag:
Textning i YouTubes egen spelare, via dess CC-knapp, kommer snart. Fram till dess följer tittare av en YouTube-sändning textningen via sändningslänken.
Om du behöver livetranskribering på Windows i dag fungerar Chrome- eller Edge-tillägget, OBS-pluginet och Dashboarden i en webbläsare där.
En sändning är hur andra följer en livetranskribering. Den består av en länk och en QR-kod. Lyssnarna öppnar den i en webbläsare, väljer ett språk och läser med. De behöver inget konto och installerar ingenting, och de kostar ingenting: fakturan ändras inte med antalet lyssnare eller språk.
En sändning är offentlig som standard och kan skyddas med ett lösenord. Om du byter namn på dess länk fortsätter den gamla att fungera, så en QR-kod som skrivits ut på ett program blir inte inaktuell. En sändning kan bära flera livetranskriberingar, så två scener kan dela en länk.
En lyssnare som kommer sent ser allt som sagts innan hen kom in och följer sedan live. Efteråt visar vyn Audience vem som lyssnade, på vilket språk och när de anslöt.
För evenemang tar checklistan för flerspråkiga konferenser upp ljud, scener och budget, och livetranskribering för kyrkor, föreläsningssalar och fullmäktigesalar tar upp den veckovisa versionen av samma uppsättning.
Allt ovan går att göra från kod. För live-ljud i din egen app har API:et realtidssessioner: din server gör ett anrop till POST /v1/realtime/sessions med en API-nyckel och får tillbaka en kortlivad streamUrl. Din klient öppnar en WebSocket till den, skickar rått ljud medan det spelas in och läser transkriptet tillbaka som JSON-ramar.
Ramarna följer samma två steg som en läsare ser. Ett transcript.draft ersätter den levande svansen, ett transcript.committed lägger till en slutgiltig rad, och med översättning påslagen kommer hela meningar med sina översättningar bifogade. Målspråk, talarmarkeringar och latensläget kan ändras under en pågående session med session.update.
En realtidssession lagrar ingenting. När du vill att orden ska sparas, rättas och delas med en publik publicerar du i stället ljudet till en livetranskribering och en sändning. Officiella SDK:er för TypeScript, Python och PHP kapslar in båda, och en MCP-server låter en AI-assistent använda samma konto.
WebSocket-handledningen bygger en fungerande textningsvy steg för steg, och API-referensen har varje fält. API-användning faktureras till samma pris som Dashboarden.
Noggrannheten avgörs mest innan någon taligenkännare körs, av det ljud den får. Fyra saker spelar störst roll.
Mikrofonen. En mikrofon nära talaren, eller en matning från lokalens mixerbord, bär rösten med lite av rummet i. En telefon på ett bord hör talaren plus eko, stolar och hostningar. Det här är den enskilt största faktorn, och varför en telefon inte räcker för ett rum förklarar varför.
Brus och överlappning. Bakgrundsbrus ger tappade ord och påhittade, och två personer som talar samtidigt förvirrar både orden och vem som sa dem. Fel vid ljudtranskribering listar sju vanliga orsaker, hur var och en ser ut och hur den åtgärdas.
Ett referensmanus. Välkända namn och termer känns igen som de är. Ett företags produktnamn, en intern förkortning eller en gästs ovanliga efternamn kan inte vara kända i förväg, så lägg in ett manus eller bilder före start, så skrivs namnen och termerna i dem precis som du stavade dem.
Talarmarkeringar. Etiketterna kan vara Off, On eller When Needed, som slår på dem när en andra talare hörs. Talardiarisering kontra taligenkänning förklarar hur de två svaren, vad som sades och vem som sa det, är separata och rättas var för sig.
Latensläget spelar också roll: Fast får ut text tidigare men reviderar mer av den, Accuracy väntar lite längre.
En enda noggrannhetssiffra säger mindre än den verkar. Ordfelsfrekvens räknar ett felaktigt namn lika som ett uteblivet "den", och därför argumenterar vad ordfelsfrekvens mäter, och vad den missar för att bedöma ett system efter vilka fel det låter dig fånga och rätta.
Inget livetranskript är perfekt, så värdens skärm har en Fix-flik. Den kan markera de ord som taligenkännaren var osäker på, och vilken rad som helst kan öppnas och rättas. En andra person vid bordet kan arbeta igenom dem medan talaren fortsätter.
När värden skriver om ett ord eller en rad, även en som fortfarande sägs, ser varje lyssnare rättelsen, på varje språk. En rad som hörts med för lite säkerhet döljs för lyssnarna som "Audio unclear" i stället för att visas fel; värden ser den fortfarande.
Inspelningen sparas med sitt transkript, sina rättelser och sina översättningar. Efteråt kan du:
Hur länge ljud och transkript sparas beror på abonnemanget, och prissidan listar det.
De flesta verktyg för livetranskribering ser lika ut i en demo; skillnaderna syns i frågorna nedan. Kolumnen längst till höger beskriver VocalStack som det är i dag.
| Fråga | Varför det spelar roll | VocalStack |
|---|---|---|
| Vilka språk kan det höra? | Ett verktyg som inte kan transkribera talarens språk hjälper inte, hur bra översättningen än är. | 100 språk, identifieras automatiskt, med byte mitt i talet |
| Hur långt efter talaren ligger texten? | Läsare märker ett växande glapp mer än ett enstaka felaktigt ord. | Originaltext en bråkdel av en sekund efter, översättning en eller två sekunder senare; tre latenslägen |
| Översätter det, och vem väljer språket? | Ett undertextspråk på en skärm lämnar alla andra utanför. | Upp till 10 språk per transkribering, varje lyssnare väljer sitt |
| Kan det läsa upp översättningen? | Vissa lyssnare kan inte läsa med, eller vill hellre inte. | Standardröster som förval; en talares egen klonade röst med samtycke |
| Hur når publiken det? | Appar och konton tappar människor vid dörren. | En länk och en QR-kod, inget konto, valfritt lösenord |
| Kan du rätta fel live? | Ett felhört namn som upprepas i en timme gör verklig skada. | Rättelser i realtid som skickas till varje lyssnare |
| Varifrån kan ljudet komma? | Din uppsättning ska inte behöva ändras för att passa verktyget. | Mikrofon, webbläsartillägg, skrivbordsapp, OBS, RTMP, strömlänkar |
| Finns det ett API? | Du kanske vill ha textning i din egen produkt. | REST- och WebSocket-API, SDK:er, MCP-server, samma pris som Dashboarden |
| Hur prissätts det? | Pris per lyssnare eller per plats växer med din publik. | Per sekund ljud; lyssnare och språk är gratis |
På VocalStack betalar du per sekund transkriberat ljud. I skrivande stund kostar livetranskribering $0.60 i timmen och filer $0.20 i timmen, i alla abonnemang, i Dashboarden och via API:et. Översättning, röster, sammanfattningar, sändning och lyssnare lägger aldrig till något på fakturan, så ett föredrag på en timme som läses av 200 personer på fem språk kostar samma $0.60 som ett som läses av ingen.
Abonnemangen skiljer sig på några punkter:
Om ingen behöver läsa med medan det händer, ladda upp inspelningen efteråt till filpriset. Aktuella priser, lagringstider och gränser för varje abonnemang finns på prissidan.
Ett nytt VocalStack-konto kommer med $5 i registreringskredit och kräver inget kort. Med $0.60 i timmen är det ungefär åtta timmars livetranskribering, med översättning och sändning inkluderade. Därefter betalar du per sekund. Lyssnare är alltid gratis.
Ja. En livetranskribering kan översättas till upp till 10 språk samtidigt medan personen talar. Översättningen dyker upp en eller två sekunder efter originaltexten, och varje lyssnare väljer sitt eget språk.
Det beror mest på ljudet. En nära mikrofon eller en matning från bordet, lite bakgrundsbrus, en person som talar åt gången och ett referensmanus med namnen i ger bäst resultat. Rättelser i realtid låter en värd rätta det som fortfarande är fel medan föredraget pågår.
Texten på originalspråket ligger efter talaren med en bråkdel av en sekund, och översättningar följer en eller två sekunder senare. En offentlig ström lägger till sin egen fördröjning innan ljudet når VocalStack.
Ja, via Chrome- eller Edge-tillägget, pluginet för OBS Studio eller Dashboarden i en webbläsare. Skrivbordsappen finns på macOS i dag, med Windows på väg.
Nej. Lyssnarna öppnar sändningslänken eller skannar dess QR-kod i en webbläsare, väljer ett språk och läser. Det finns inget att installera.
Öppna Dashboarden, starta en livetranskribering från din mikrofon och öppna dess sändningslänk på telefonen. Registreringskrediten täcker dina första timmar, och du kan själv se hur utkasten sätter sig och översättningen följer efter.