Unukuzi na tafsiri za wakati halisi zimeelezwa: jinsi usemi-hadi-maandishi mubashara unavyofanya kazi, ucheleweshaji, usahihi na gharama.
Unukuzi wa wakati halisi hubadilisha usemi kuwa maandishi huku mtu bado anazungumza. Maneno huonekana kwenye skrini muda mfupi baada ya kusemwa, hutulia kuwa mistari ya mwisho, na yanaweza kusomwa na yeyote anayefuatilia. Ongeza tafsiri ya wakati halisi na kila msomaji anaweza kufuata hotuba ileile kwa lugha yake mwenyewe, kama maandishi au kwa kusomwa kwa sauti.
Mwongozo huu unahusu unukuzi na tafsiri za wakati halisi kutoka pande zote mbili: kile msikilizaji anachokiona, sauti inaweza kutoka wapi, nini kinaamua usahihi, kile wasanidi programu wanachopata kutoka kwa API, na gharama.
Unukuzi wa wakati halisi, unaoitwa pia unukuzi mubashara au usemi-hadi-maandishi mubashara, ni utambuzi wa usemi unaoendeshwa wakati sauti bado inafika. Faili iliyorekodiwa inaweza kunukuliwa ikiwa na rekodi nzima mkononi. Unukuzi mubashara lazima ujitolee kwa maneno ukiwa na sekunde chache za mwisho tu za kutegemea, na umfuate mzungumzaji kwa muda wote anaozungumza.
Manukuu mubashara ni kitu kilekile kinachoonyeshwa kama mistari mifupi juu ya video au kwenye skrini.
Kwenye VocalStack, unukuzi mubashara unaweza kusikiliza kwa lugha 100. Hutambua yenyewe lugha inayozungumzwa na humfuata mzungumzaji akibadilisha, jambo ambalo jinsi utambuzi wa kiotomatiki wa lugha unavyofanya kazi linaeleza, pamoja na wakati wa kutaja lugha mapema.
Maandishi hufika kwa hatua mbili. Maneno mapya zaidi huonekana kwanza kama rasimu, ambayo bado inaweza kubadilika sauti zaidi zinapoingia. Muda mfupi baadaye, rasimu hutulia kuwa mstari wa mwisho ambao haubadiliki tena.
Rasimu ipo kwa sababu kipokezi huamua neno kwa kiasi fulani kutokana na kinachofuata. "Ice cream" na "I scream" husikika sawa hadi neno linalofuata lifike. Kuonyesha dhana mapema ndiko kunakofanya nakala ihisike kuwa ya moja kwa moja.
Maandishi yanachelewa kiasi gani nyuma ya mzungumzaji hutegemea hatua:
Ucheleweshaji mbili uko nje ya mnyororo huo. Chanzo kikiwa mtiririko wa umma badala ya maikrofoni, mtiririko wenyewe tayari uko nyuma ya ukingo wake wa moja kwa moja: sekunde moja hadi tatu kwa mtiririko wa kawaida wa redio ya mtandaoni, na kuanzia sekunde kadhaa hadi nusu dakika kwa HLS. Na kwenye Lipa Unapotumia, unukuzi mubashara unaweza kuchukua hadi sekunde 15 kuanza. Mgawanyo kamili, ikiwa ni pamoja na hali za ucheleweshaji Auto, Fast na Accuracy, uko kwenye ucheleweshaji wa tafsiri mubashara, ukieleza.
Tafsiri hufanya kazi juu ya nakala. Unukuzi mubashara unaweza kutafsiriwa hadi lugha 10 kwa wakati mmoja, zilizochaguliwa kati ya 100. Kila msikilizaji huchagua moja kati ya hizo kwenye kifaa chake na anaweza kuibadilisha wakati wowote; nakala hadi wakati huo huonyeshwa tena kwa lugha mpya.
Kila lugha hutafsiriwa kutoka nakala ileile, kwa hiyo kila msikilizaji hupata maneno yaleyale, na marekebisho huwafikia wote.
Msikilizaji anayependelea kusikiliza kuliko kusoma anaweza kufanya kila mstari uliotafsiriwa usomwe kwa sauti. Kwa chaguo-msingi kila mzungumzaji hupata sauti ya kawaida tofauti inayolingana na jinsia yake, kwa hiyo jopo bado husikika kama watu kadhaa. Kwa ridhaa ya mzungumzaji, mwenyeji anaweza kunakili sauti ya mzungumzaji huyo kutoka takriban sekunde 30 za yeye akizungumza peke yake, na tafsiri kisha husomwa kwa sauti yake mwenyewe.
Kanuni ya sauti ni finyu kwa makusudi. Sauti husoma tu kile ambacho mtu yuleyule alisema, kilichotafsiriwa kwenda lugha ambayo msikilizaji alichagua. Haisomi kamwe maandishi ambayo mtu anayaandika, na haisomi kamwe maneno ya mzungumzaji mmoja kwa sauti ya mwingine.
Jinsi hili linavyofanya kazi kwa ukumbi mzima, kutoka usanidi wa mwenyeji hadi anayechelewa, iko kwenye kiungo kimoja, kila lugha.
Unukuzi mubashara unahitaji chanzo cha sauti. Hivi ndivyo vyanzo ambavyo VocalStack inavichukua leo:
Manukuu ndani ya kicheza cha YouTube chenyewe, kupitia kitufe chake cha CC, yanakuja hivi karibuni. Hadi hapo, watazamaji wa mtiririko wa YouTube hufuata manukuu kwenye kiungo cha tangazo.
Ukihitaji unukuzi mubashara kwenye Windows leo, kiendelezi cha Chrome au Edge, programu jalizi ya OBS na Dashibodi kwenye kivinjari vyote hufanya kazi huko.
Tangazo ndilo njia ambayo watu wengine hufuata unukuzi mubashara. Ni kiungo kimoja na msimbo wa QR. Wasikilizaji huifungua kwenye kivinjari, huchagua lugha na husoma. Hawahitaji akaunti, hawasakinishi chochote, na hawagharimu chochote: bili haibadiliki kulingana na idadi ya wasikilizaji au lugha.
Tangazo ni la umma kwa chaguo-msingi na linaweza kulindwa kwa nenosiri. Ukibadilisha jina la kiungo chake, cha zamani kinaendelea kufanya kazi, kwa hiyo msimbo wa QR uliochapishwa kwenye programu hautapitwa na wakati. Tangazo moja linaweza kubeba unukuzi kadhaa mubashara, kwa hiyo hatua mbili zinaweza kushiriki kiungo kimoja.
Msikilizaji anayefika kwa kuchelewa huona kila kitu kilichosemwa kabla hajaingia, kisha hufuata moja kwa moja. Baadaye, mwonekano wa Audience huonyesha nani alisikiliza, kwa lugha gani, na lini alijiunga.
Kwa matukio, orodha ya ukaguzi ya kongamano la lugha nyingi inashughulikia sauti, hatua na bajeti, na unukuzi mubashara kwa makanisa, kumbi za mihadhara na vyumba vya mabaraza inashughulikia toleo la kila wiki la usanidi uleule.
Kila kitu kilicho hapo juu kinaweza kufanywa kutoka kwenye msimbo. Kwa sauti ya moja kwa moja kwenye programu yako mwenyewe, API ina vipindi vya wakati halisi: seva yako hupiga simu moja kwa POST /v1/realtime/sessions ikiwa na ufunguo wa API na hupata streamUrl ya muda mfupi. Mteja wako hufungua WebSocket kuelekea hiyo, hutuma sauti ghafi inaponaswa, na husoma nakala kurudi kama fremu za JSON.
Fremu hufuata hatua zilezile mbili ambazo msomaji huziona. transcript.draft hubadilisha mkia wa moja kwa moja, transcript.committed huongeza mstari wa mwisho, na tafsiri ikiwa imewashwa, sentensi nzima hufika zikiwa na tafsiri zake zimeambatishwa. Lugha lengwa, lebo za wazungumzaji na hali ya ucheleweshaji vinaweza kubadilishwa katikati ya kipindi kwa session.update.
Kipindi cha wakati halisi hakihifadhi chochote. Unapotaka maneno yahifadhiwe, yasahihishwe na kushirikiwa na hadhira, unachapisha sauti kwenye unukuzi mubashara na tangazo badala yake. SDK rasmi za TypeScript, Python na PHP hufunika vyote viwili, na seva ya MCP humwezesha msaidizi wa AI kutumia akaunti ileile.
Mafunzo ya WebSocket hujenga hatua kwa hatua mwonekano wa manukuu unaofanya kazi, na marejeo ya API yana kila sehemu. Matumizi ya API hutozwa kwa kiwango kilekile cha Dashibodi.
Usahihi huamuliwa zaidi kabla kipokezi chochote hakijaendeshwa, kwa sauti inayopewa. Mambo manne hutofautisha zaidi.
Maikrofoni. Maikrofoni iliyo karibu na mzungumzaji, au mlisho kutoka meza ya mchanganyiko ya ukumbi, hubeba sauti ikiwa na kidogo cha chumba ndani yake. Simu iliyo juu ya meza humsikia mzungumzaji pamoja na mwangwi, viti na kikohozi. Hiki ndicho kigezo kikubwa zaidi, na kwa nini simu haitoshi kwa ukumbi inaeleza sababu.
Kelele na kuingiliana. Kelele ya mazingira husababisha maneno yanayokosekana na yaliyobuniwa, na watu wawili wanaozungumza kwa wakati mmoja huchanganya maneno na pia nani aliyeyasema. Makosa ya unukuzi wa sauti inaorodhesha sababu saba za kawaida, jinsi kila moja inavyoonekana na jinsi ya kuirekebisha.
Hati ya marejeo. Majina na istilahi zinazojulikana hutambuliwa kama zilivyo. Majina ya bidhaa za kampuni, kifupi cha ndani au jina la ukoo lisilo la kawaida la mgeni haviwezi kujulikana mapema, kwa hiyo ongeza hati au slaidi kabla ya kuanza, na majina na istilahi zilizomo huandikwa kama ulivyozitamka kwa tahajia.
Lebo za wazungumzaji. Lebo zinaweza kuwa Off, On, au When Needed, ambayo huziwasha mzungumzaji wa pili anaposikika. Utenganishaji wa wazungumzaji dhidi ya utambuzi wa usemi unaeleza jinsi majibu mawili, nini kilisemwa na nani alikisema, yalivyo tofauti na hurekebishwa kando.
Hali ya ucheleweshaji pia ni muhimu: Fast hutoa maandishi mapema lakini huyarekebisha zaidi, Accuracy husubiri muda kidogo zaidi.
Kielelezo kimoja cha usahihi husema kidogo kuliko kinavyoonekana. Kiwango cha makosa ya maneno huhesabu jina lisilo sahihi sawa na "na" iliyodondoka, ndiyo maana kiwango cha makosa ya maneno kinapima nini, na kinachokikosa kinatetea kuhukumu mfumo kwa makosa ambayo unakuwezesha kuyanasa na kuyarekebisha.
Hakuna nakala mubashara iliyo kamilifu, kwa hiyo skrini ya mwenyeji ina kichupo cha Fix. Kinaweza kuweka alama kwenye maneno ambayo kipokezi hakikuwa na uhakika nayo, na mstari wowote unaweza kufunguliwa na kusahihishwa. Mtu wa pili kwenye meza anaweza kuyapitia mzungumzaji akiendelea.
Mwenyeji anapoandika upya neno au mstari, hata ule ambao bado unasemwa, kila msikilizaji huona marekebisho, katika kila lugha. Mstari uliosikika kwa uhakika mdogo mno hufichwa kwa wasikilizaji kama "Audio unclear" badala ya kuonyeshwa vibaya; mwenyeji bado huuona.
Rekodi huhifadhiwa pamoja na nakala yake, masahihisho na tafsiri. Baadaye unaweza:
Muda ambao sauti na nakala zinahifadhiwa hutegemea mpango, na ukurasa wa bei unauorodhesha.
Zana nyingi za unukuzi mubashara zinafanana kwenye onyesho; tofauti huonekana kwenye maswali yaliyo hapa chini. Safu ya kulia inaeleza VocalStack kama ilivyo leo.
| Swali | Kwa nini ni muhimu | VocalStack |
|---|---|---|
| Inaweza kusikia lugha zipi? | Zana isiyoweza kunukuu lugha ya mzungumzaji haiwezi kusaidia, bila kujali tafsiri yake ni nzuri kiasi gani. | Lugha 100, zinazotambuliwa kiotomatiki, na kubadilisha katikati ya hotuba |
| Maandishi yako nyuma ya mzungumzaji kwa kiasi gani? | Wasomaji hugundua pengo linalokua zaidi kuliko neno lisilo sahihi mara kwa mara. | Maandishi asilia nyuma kwa sehemu ya sekunde, tafsiri sekunde moja au mbili baadaye; hali tatu za ucheleweshaji |
| Inatafsiri, na nani huchagua lugha? | Lugha moja ya manukuu kwenye skrini moja huwaacha wengine wote nje. | Hadi lugha 10 kwa kila unukuzi, kila msikilizaji huchagua yake |
| Inaweza kusema tafsiri? | Baadhi ya wasikilizaji hawawezi kusoma pamoja, au wangependelea kutofanya hivyo. | Sauti za kawaida kwa chaguo-msingi; sauti iliyonakiliwa ya mzungumzaji kwa ridhaa yake |
| Hadhira inaipataje? | Programu na akaunti hupoteza watu mlangoni. | Kiungo kimoja na msimbo wa QR, bila akaunti, nenosiri la hiari |
| Unaweza kurekebisha makosa moja kwa moja? | Jina lililosikika vibaya likirudiwa kwa saa nzima hudhuru kweli. | Masahihisho mubashara yanayotumwa kwa kila msikilizaji |
| Sauti inaweza kutoka wapi? | Usanidi wako haupaswi kubadilika ili kuendana na zana. | Maikrofoni, viendelezi vya kivinjari, programu ya kompyuta ya mezani, OBS, RTMP, viungo vya mtiririko |
| Kuna API? | Huenda unataka manukuu ndani ya bidhaa yako mwenyewe. | API ya REST na WebSocket, SDK, seva ya MCP, kiwango kilekile cha Dashibodi |
| Bei imepangwaje? | Bei kwa kila msikilizaji au kiti hukua pamoja na hadhira yako. | Kwa sekunde ya sauti; wasikilizaji na lugha bila malipo |
Kwenye VocalStack unalipa kwa sekunde ya sauti iliyonukuliwa. Wakati wa kuandika, unukuzi mubashara ni $0.60 kwa saa na faili ni $0.20 kwa saa, kwenye kila mpango, kwenye Dashibodi na kupitia API vilevile. Tafsiri, sauti, muhtasari, utangazaji na wasikilizaji havioongezi kamwe kwenye bili, kwa hiyo hotuba ya saa moja inayosomwa na watu 200 kwa lugha tano inagharimu $0.60 zilezile kama ile isiyosomwa na yeyote.
Mipango hutofautiana kwa mambo machache:
Ikiwa hakuna anayehitaji kusoma pamoja wakati inapotokea, pakia rekodi baadaye kwa kiwango cha faili. Bei za sasa, muda wa kuhifadhi na mipaka ya kila mpango ziko kwenye ukurasa wa bei.
Akaunti mpya ya VocalStack huja na $5 za salio la kujisajili na haihitaji kadi. Kwa $0.60 kwa saa hiyo ni takriban saa nane za unukuzi mubashara, pamoja na tafsiri na utangazaji. Baada ya hapo unalipa kwa sekunde. Wasikilizaji huwa bila malipo kila wakati.
Ndiyo. Unukuzi mubashara unaweza kutafsiriwa hadi lugha 10 kwa wakati mmoja mtu anapozungumza. Tafsiri huonekana sekunde moja au mbili baada ya maandishi asilia, na kila msikilizaji huchagua lugha yake mwenyewe.
Inategemea zaidi sauti. Maikrofoni iliyo karibu au mlisho wa meza, kelele kidogo ya mazingira, mtu mmoja kuzungumza kwa wakati mmoja na hati ya marejeo yenye majina ndani yake hutoa matokeo bora zaidi. Masahihisho mubashara humwezesha mwenyeji kurekebisha kinachobaki kuwa kibaya hotuba inapoendelea.
Maandishi ya lugha asilia hufuata mzungumzaji kwa sehemu ya sekunde, na tafsiri hufuata sekunde moja au mbili baadaye. Mtiririko wa umma huongeza ucheleweshaji wake kabla sauti haijafika VocalStack.
Ndiyo, kupitia kiendelezi cha Chrome au Edge, programu jalizi ya OBS Studio, au Dashibodi kwenye kivinjari. Programu ya kompyuta ya mezani iko kwenye macOS leo, na Windows inakuja hivi karibuni.
Hapana. Wasikilizaji hufungua kiungo cha tangazo au huskani msimbo wake wa QR kwenye kivinjari, huchagua lugha na husoma. Hakuna cha kusakinisha.
Fungua Dashibodi, anzisha unukuzi mubashara kutoka kwenye maikrofoni yako na ufungue kiungo chake cha tangazo kwenye simu yako. Salio la kujisajili linatosha saa zako za kwanza, na unaweza kujionea mwenyewe rasimu zikitulia na tafsiri ikifuata.