Dokładność tłumaczenia na żywo zależy głównie od tego, zanim zacznie działać jakikolwiek model, czyli od miejsca mikrofonu. Weź dźwięk z pulpitu realizatora, a nie z miejsca w dwunastym rzędzie, zrób z niego transkrypcję raz, a błąd stanie się jedną linijką, którą ktoś może poprawić dla wszystkich.
Aplikacje tłumaczeniowe wbudowane w telefony to prawdziwe osiągnięcie. Często działają na modelu mowy na tyle małym, by zmieścić się w urządzeniu i nie wyczerpać baterii (niektóre przekazują dźwięk do serwera, gdy jest połączenie), i w przypadku krótkich, wyraźnych, codziennych zdań spełniają swoje zadanie: pytanie o drogę, odczytanie menu, rozmowa przy ladzie.
Sala pełna ludzi słuchających jednego mówcy to zupełnie inny problem. To, co w prawdziwej mowie idzie źle, to dokładnie to, z czym mały model radzi sobie najgorzej: rzadkie słowa i nazwiska, wyrazy brzmiące podobnie („their” i „there”, „sail” i „sale”), terminy techniczne, akcenty, ludzie mówiący jednocześnie i szum tła. Na zebraniu klubu żeglarskiego model, który usłyszy „sale”, podejmuje rozsądne zgadywanie, a jednocześnie pewnie się myli.
Dwie rzeczy sprawiają, że mały model zgaduje częściej niż duży. Został skompresowany, by zmieścić się w telefonie, więc zna mniej słów i mniej sposobów ich wymawiania; przy nieznanym nazwisku przybliża je jedynie na podstawie brzmienia. Do tego rozpoznawanie na żywo musi zdecydować o słowie, zanim nadejdzie reszta zdania, więc model nie może skorzystać z tego, co rozstrzygnęłoby „sail” czy „sale”: z kolejnych słów albo ze scenariusza, który mówi, o czym jest wystąpienie. W rozpoznawaniu mowy kontekst oznacza dokładnie te dwie rzeczy: otaczające słowa i to, co wiadomo z góry.
Kiedy model nie jest pewien, zgaduje. Tłumaczenie powstaje wtedy na bazie zgadnięcia, a osoba je czytająca nie ma żadnego sposobu, by to zauważyć. Nikt na sali nie widzi, że linijka była błędna, a tym bardziej nie może jej poprawić. A sala to nie jeden słuchacz, lecz pięćdziesięciu.
Telefon słyszy salę, a nie mówcę. Decyduje odległość: mikrofon krawatowy albo stołowy znajduje się kilka centymetrów od ust, a telefon w dwunastym rzędzie jest oddalony o dziesięć metrów lub więcej, i większość dźwięku, który do niego dociera, najpierw odbiła się od ścian, sufitu i oparć krzeseł. Dźwięk odbity dociera późno i rozmazany. Do tego telefon wychwytuje kaszel osoby dwa rzędy dalej, szmer sąsiada i to, co głośniki robią z głosem po drodze przez salę. Każde miejsce dostaje więc nieco inne nagranie, a zatem nieco inną transkrypcję.
Telefon tłumaczy też dla jednej osoby. Pięćdziesięciu uczestników z pięćdziesięcioma telefonami w górze daje pięćdziesiąt niezależnych transkrypcji tego samego wystąpienia, z pięćdziesięcioma różnymi zestawami błędów. Dwie osoby porównujące później notatki nie zgodzą się, co padło. Mówca tymczasem przemawia do ściany podniesionych telefonów, a to trudny tłum do odczytania.
Dla części osób w sali to więcej niż niedogodność: decyduje, czy w ogóle mogą śledzić wystąpienie. Uczestnik z niedosłuchem albo ktoś, kto słucha w trzecim języku, potrzebuje jednego poprawnego, wspólnego tekstu, a nie pięćdziesięciu prób na miarę możliwości. Oznacza to transkrypcję mówcy raz i przekazanie wszystkim tego samego wyniku. Transkrypcja raz opłaca się jednak tylko wtedy, gdy jest zrobiona dobrze, a to zaczyna się od tego, skąd pochodzi dźwięk.
Transkrypcja jest tak dobra, jak dźwięk, z którego powstała. Dlatego pierwsza decyzja dotyczy nie tego, jakiego modelu użyć, lecz tego, jaki sygnał mu podać. Druga to to, co powiedzieć modelowi, zanim zacznie.
Transkrypcja na żywo pobiera dźwięk stamtąd, gdzie czysty sygnał już istnieje:
VocalStack sam pobiera strumień z adresu URL, więc po Twojej stronie nic nie trzeba uruchamiać. Strumień RTMP działa w drugą stronę: to Twój koder go wysyła. Język mówcy wykrywany jest automatycznie, a mówca może zmieniać język w dowolnym momencie. Jeśli znasz język, a nagranie jest zaszumione albo mocno zaakcentowane, jego podanie poprawia dokładność.
Czysty dźwięk usuwa błędy wynikające z sali. Nic nie robi z błędami wynikającymi ze słownictwa, a te wymagają innego rodzaju pomocy.
Telefon nie wie, kto mówi ani o czym jest wystąpienie, więc nazwa produktu czy nazwisko to dla niego po prostu dźwięk do przybliżenia. Transmisję można natomiast uprzedzić, czego się spodziewać.
Jeśli przed startem dodasz scenariusz lub slajdy, nazwy i terminy z nich biorą górę nad tym, co silnik usłyszał błędnie. Podczas nagrywania zakładka Script podąża za mówcą jak prompter. To największy pojedynczy zysk dokładności przy mowie, która wypełnia konferencje i wykłady: pełnej nazw własnych i słownictwa, którego żaden model ogólnego przeznaczenia nie słyszał wystarczająco często.
Dobry dźwięk i glosariusz usuwają większość błędów. Pytanie brzmi, co dzieje się z błędami, które zostają.
Nawet przy dobrym dźwięku i scenariuszu część linijek wyjdzie błędnie. Różnica polega na tym, co dzieje się potem.
W telefonie nic. Błędna linijka przewija się, a tłumaczenie zbudowane na jej podstawie znika razem z nią.
W transmisji linijka, która jest zbyt niejasna, by ją pokazać, jest ukrywana przed słuchaczami z napisem "Audio unclear" zamiast być przedstawiana jako fakt.
Jest jeszcze gospodarz, który ma zakładkę Fix: słowa, co do których silnik nie był pewien, mogą zostać pokolorowane i podkreślone, kliknięcie otwiera linijkę do przeglądu, a dowolne słowo lub linijkę można przepisać, gdy transkrypcja wciąż trwa. Każdy słuchacz widzi poprawkę w swoim języku. Każda poprawka jest oznaczona i można ją cofnąć.
Chodzi nie o to, że serwer nigdy nie popełnia błędów. Chodzi o to, że błąd jest widoczny, ma go ktoś w sali na głowie i zostaje naprawiony raz dla wszystkich.
Poprawki dotyczą tego, co czytają słuchacze. Słuchacze, którzy wolą posłuchać wystąpienia, dostają ten sam poprawiony tekst, wypowiedziany na głos.
Słuchacz, który woli słuchać niż czytać, może mieć każdą przetłumaczoną linijkę odczytywaną na głos. Domyślnie każdy mówca dostaje odrębny głos standardowy odpowiedniej płci, dzięki czemu panel nadal brzmi jak panel. Możesz przypisać głos każdemu mówcy albo wyciszyć jednego.
Za zgodą mówcy można pójść dalej i sklonować jego głos na podstawie trzydziestu sekund mowy, przesłanych jako klip albo pobranych wprost od mówcy z nagrania; kilka minut daje lepszy wynik. Tłumaczenie jest wtedy odczytywane w głosie mówcy we wszystkich językach. Mówca z zapisanym głosem może zostać rozpoznany także w późniejszych nagraniach, choć system woli nie nazwać mówcy wcale, niż nazwać go błędnie.
Obowiązują dwie zasady i są one świadome. Sklonowany głos to dane biometryczne: powstaje wyłącznie za wyraźną zgodą mówcy i można go usunąć w dowolnym momencie. Głos mówi wyłącznie transkrypcję lub jej tłumaczenie; nie da się sprawić, by powiedział coś, czego jego właściciel nigdy nie powiedział.
Wszystko do tej pory dzieje się, gdy mówca przemawia. Ostatnia różnica pojawia się, gdy przestanie mówić.
Pięćdziesiąt transkrypcji z telefonów znika, gdy aplikacje się zamkną. Transmisja zachowuje nagranie w Twojej bibliotece: dźwięk oraz transkrypcję z każdą poprawką i tłumaczeniem. Można je tam odtworzyć linijka po linijce, przeszukać w dowolnym języku i wyeksportować; przejście po bibliotece opisuje Jeden link, wszystkie języki. Słuchacze nic nie kosztują, bez względu na liczbę. Płacisz za przetranskrybowany dźwięk, po $0.60 za godzinę przy transkrypcji na żywo, z minimum 5 minut na transkrypcję, a strona cennika zawiera stawki.
Telefon w każdej dłoni to nadal dobra awaryjna opcja do rozmowy na korytarzu. Gdy jednak sala ma wspólnie zrozumieć jednego mówcę, mówca powinien zostać przetranskrybowany raz, u źródła, a ktoś powinien móc poprawić to, co pójdzie źle. Zobaczysz, jak to wygląda, w interaktywnym demo na stronie głównej.
