Sala wielojęzyczna nie potrzebuje kabiny dla każdego języka. Potrzebuje jednego czystego sygnału dźwiękowego z pulpitu, jednego linku, który publiczność otwiera na własnych telefonach, i sposobu na poprawienie źle usłyszanego nazwiska, gdy wystąpienie wciąż trwa.
Prelekcja, nabożeństwo, wykład czy posiedzenie rady mają jedną osobę mówiącą i publiczność, której nie wszyscy myślą w tym języku. Dotychczasowe rozwiązania są drogie, niepełne albo prywatne.
Drogie rozwiązanie to tłumacz dla każdego języka. Nawet przy jednym tłumaczu na język potrzebna jest kabina, zestaw odbiorników i specjalista dla każdego języka obecnego na sali, a specjaliści nie mówią tego samego. Każdy tłumacz podejmuje własne decyzje pod presją czasu: jakiego słowa użyć w danym terminie, co skrócić, co pominąć, gdy mówca przyspiesza. W zwykłej prelekcji różnice ledwo mają znaczenie. Na rozprawie sądowej, głosowaniu w radzie czy technicznej odprawie mają: zdefiniowany termin, dawkowanie leku albo klauzula mogą dotrzeć do francuskojęzycznych słuchaczy z jednym znaczeniem, a do arabskojęzycznych z innym, a nikt na sali nie jest w stanie tego zauważyć. Rozwiązanie częściowe to napisy na jednym ekranie, w tylko jednym dodatkowym języku. Rozwiązanie prywatne to pięćdziesiąt telefonów przyłożonych do sali: pięćdziesiąt lekko błędnych transkrypcji, a każdy telefon słyszy pogłos i kaszel równie wyraźnie jak mówcę.
Inne wyjście to raz przetranskrybować mówcę z czystego źródła, przetłumaczyć tę jedną transkrypcję na języki potrzebne publiczności, tak aby każdy język wychodził od tych samych słów, i pozwolić każdemu słuchaczowi wybrać na własnym urządzeniu. Nagranie zostaje zachowane po zakończeniu wydarzenia. Poniżej opisujemy, jak konfiguruje to gospodarz i słuchacz oraz ile to kosztuje.
Transkrypcja na żywo może słuchać mikrofonu na dowolnym urządzeniu, sygnału RTMP z OBS lub innego kodera, który przyjmuje adres serwera i klucz strumienia, transmisji na żywo z YouTube, internetowej stacji radiowej albo dowolnego adresu URL, pod którym dostępny jest strumień. W przypadku strumienia VocalStack sam pobiera dźwięk; po Twojej stronie nic nie musi działać.
Źródło ma większe znaczenie niż jakiekolwiek ustawienie. Mikrofon salowy albo telefon położony na stole słyszy mówcę i salę: pogłos od ścian, krzeseł, publiczności. Rozpoznawanie mowy wyraźnie się pogarsza, gdy głos staje się cichszy w stosunku do tego szumu, dlatego te pięćdziesiąt telefonów rozbiega się w wynikach. Sygnał z miksera niesie mikrofon samego mówcy z niewielką ilością sali, więc transkrypcja podąża za mówcą, a nie za salą. Jeśli obiekt ma pulpit mikserski, weź sygnał właśnie z niego.
Język mowy jest wykrywany automatycznie, a mówca może zmieniać język w dowolnym momencie; podanie go z wyprzedzeniem pomaga przy hałaśliwych nagraniach i silnych akcentach. Etykiety mówców mogą być wyłączone, włączone albo When Needed, co włącza je dopiero wtedy, gdy usłyszany zostanie drugi mówca. Gdy dźwięk już płynie, publiczność potrzebuje miejsca, w którym go znajdzie.
Transmisja to link: jeden adres i kod QR, który słuchacze skanują, by otworzyć tłumaczenie na żywo i wybrać język. Link powstaje z nazwy, którą nadasz transmisji. Jeśli później ją zmienisz, stary link nadal działa, więc kod QR wydrukowany w programie nie traci ważności.
Transmisja domyślnie jest publiczna: każdy, kto ma link, może ją otworzyć. Jeśli ustawisz ją jako prywatną i podasz hasło, słuchacze zostaną o nie poproszeni, zanim pojawi się transkrypcja.
Jedną transmisję może zasilać kilka transkrypcji na żywo, więc konferencja z dwiema scenami nadal korzysta z jednego linku. Link wpuszcza ludzi; to, co ich tam zatrzymuje, to poprawne nazwiska.
Systemy rozpoznawania mowy są uczone na tym, jak ludzie zwykle mówią, więc gdy dźwięk jest niejednoznaczny, sięgają po częstsze słowo. Nazwa produktu, nazwisko, miejscowość, związek chemiczny: każde ma częstszy wyraz o podobnym brzmieniu i to właśnie się zapisuje, dopóki system nie zostanie poinformowany, że nadchodzi rzadkie słowo. Do tego służy scenariusz. Dodaj scenariusz albo slajdy przed startem, a nazwy i terminy z nich wygrywają z tym, co zostało źle usłyszane. To właśnie na nich rozpoznawanie zwykle się wykłada w wystąpieniach specjalistycznych. Podczas nagrywania zakładka Script podąża za mówcą jak prompter, podświetlając słowa już wypowiedziane.
To cała konfiguracja. Po drugiej stronie linku jest jeszcze mniej do zrobienia.
Słuchacz potrzebuje linku lub kodu QR oraz telefonu. Otwiera link w przeglądarce i widzi The broadcast hasn't started yet, dopóki gospodarz nie naciśnie nagrywania; potem Live. The first line appears in a moment. Wybiera spośród języków wybranych przez gospodarza (do 10 na transkrypcję, z 100 dostępnych) i czyta transkrypcję, gdy mówca mówi. Gospodarz mówi nadal w swoim języku. Słuchacz może zmienić język w dowolnym momencie; dotychczasowa transkrypcja pojawia się wtedy ponownie w nowym języku.
Jeśli słuchacz woli słuchać, każda przetłumaczona linia jest czytana na głos. Domyślnie każdy mówca otrzymuje odrębny głos standardowy o pasującej płci, dzięki czemu panel nadal brzmi jak panel.
Trzy etapy następują po kolei i każdy czeka na poprzedni. Rozpoznawanie potrzebuje fragmentu mowy, zanim może zatwierdzić słowa, więc transkrypcja spóźnia się za mówcą o ułamek sekundy. Tłumaczenie potrzebuje całego zdania, ponieważ kolejność słów różni się między językami, a koniec zdania może zmienić jego początek, więc pojawia się sekundę albo dwie później. Mowa syntezowana potrzebuje przetłumaczonego zdania, zanim może się zacząć, dlatego linia wypowiedziana pojawia się jako ostatnia. Nie jest to usterka, którą można wyregulować; tak musi działać każdy system wykonujący te trzy zadania, w tym tłumacz konferencyjny, który również czeka na czasownik.
Za zgodą mówcy gospodarz może sklonować jego głos na podstawie trzydziestu sekund wypowiedzi tylko tej osoby (MP3, M4A lub WAV; lepiej kilka minut). Tłumaczenie jest wtedy czytane we wszystkich językach głosem samego mówcy. Traktuj głos jak dane biometryczne, którymi faktycznie jest. Zgodnie z RODO dane głosowe przetwarzane w celu rozpoznania osoby zazwyczaj należą do szczególnych kategorii z art. 9, a niektóre stany USA, w tym Illinois, osobno regulują odciski głosu. Uzyskaj wyraźną zgodę mówcy, zanim próbka zostanie nagrana, a nie po fakcie; głos można usunąć w dowolnym momencie. Klonowanie rejestruje też mówcę, więc w przyszłych nagraniach będzie oznaczany imieniem. Gospodarz może przypisać głos każdemu mówcy albo jednego wyciszyć.
Słuchacz, który przychodzi później, widzi wszystko, co zostało powiedziane przed jego wejściem, a potem śledzi transmisję na żywo. Jeśli połączenie zostanie zerwane, strona sama nadrabia zaległości po jego przywróceniu. Gdy gospodarz wstrzyma transmisję, słuchacze widzą Paused. The transcript continues when the host resumes. Gdy gospodarz ją zakończy, strona pokazuje datę i długość nagrania, a transmisja wyświetla swoje wcześniejsze nagrania do odtworzenia.
Słuchacz może przeczytać tylko to, co usłyszał silnik, a rozpoznawanie na żywo część z tego myli.
Ekran gospodarza ma w tym celu zakładkę Fix. Mark uncertain words koloruje i podkreśla słowa, co do których silnik miał wątpliwości; Click to correct otwiera linię do przeglądu. Zakładka przechodzi przez niepewne fragmenty jeden po drugim, więc druga osoba przy pulpicie może je poprawiać, gdy mówca mówi dalej.
Gdy gospodarz przepisze słowo albo linię, nawet taką, która wciąż jest wypowiadana, każdy słuchacz widzi poprawkę. Linia o zbyt niskiej pewności jest ukrywana przed słuchaczami jako Audio unclear, zamiast być pokazana błędnie; gospodarz nadal widzi każde słowo. Pusta luka to znany brak; pewnie podane błędne słowo to plotka.
Te poprawki nie znikają, gdy wystąpienie się kończy.
Wszystko zostaje zachowane. Nagranie, jego transkrypcja z poprawkami i tłumaczeniami oraz dźwięk trafiają do biblioteki gospodarza. Odtwarzanie puszcza je dokładnie tak, jak wpłynęło, linia po linii, wraz z dźwiękiem. Gdy słowa są ostateczne, tytuł i podsumowanie powstają we wszystkich językach, a zakładki Summary i Export na ekranie gospodarza wyprowadzają je prosto z wydarzenia.
Eksporty to napisy SRT, PDF, Excel lub JSON, z uwzględnionymi poprawkami i tłumaczeniami, a dźwięk pobiera się jako MP3. Każdą transkrypcję można przeszukiwać w dowolnym języku.
Widok Audience pokazuje, kto słuchał, w jakim języku i kiedy dołączył: często jest to pierwsze rzeczywiste policzenie, jakiego organizator dostaje, dotyczące tego, kto potrzebował jakiego języka. Do tej pory typowym szacunkiem było to, ilu osobom podniosło rękę na pytanie zadane po angielsku, czy potrzebują tłumaczenia. Identyfikatory słuchaczy są usuwane razem z nagraniem.
Rozpoznawanie mowy, rozpoznawanie mówców i synteza głosu działają na serwerach, które prowadzimy, a Twój dźwięk nie jest przesyłany do żadnej trzeciej strony w celu przetwarzania. Nie wykorzystujemy Twojego dźwięku, transkrypcji ani głosów do trenowania modeli.
Czas przechowywania zależy od planu: w planie Pay as you go dźwięk źródłowy i głosy są przechowywane przez 7 dni, a transkrypcje przez 30 dni; plany Premium i Enterprise zachowują je przez cały okres istnienia konta. Drugą rzeczą, o której decyduje plan, jest rachunek.
Liczą się dwie liczby. W planach Pay as you go i Premium transkrypcja na żywo kosztuje $0.60 za godzinę dźwięku, rozliczana co sekundę z minimum 5 minut na transkrypcję, zarówno w panelu, jak i przez API; plan Enterprise ma stawki zależne od wolumenu. Słuchacze i języki są bezpłatne: jednogodzinne wydarzenie, w którym dwieście osób słucha w pięciu językach, kosztuje $0.60. Pliki są tańsze ($0.20 za godzinę), ponieważ transkrypcja na żywo działa w czasie rzeczywistym przez całe wydarzenie. Plany różnią się współbieżnością, maksymalną długością nagrania i szybkością startu; w planie Pay as you go zimny start może zająć do 15 sekund, więc naciśnij nagrywanie nieco przed mówcą, mniej więcej o jedno „Czy ci z tyłu mnie słyszą?” wcześniej. Pełna tabela znajduje się na stronie z cennikiem.
Na stronie głównej jest demo z dwoma telefonami, a nowe konto w panelu dostaje $5 środków startowych i nie wymaga karty. Przy stawce na żywo te środki wystarczą na ponad osiem godzin transmisji.
Zastanawiasz się, czy to wystarczy w porównaniu z tłumaczeniem na żywo wbudowanym w każdy telefon? Przeczytaj dlaczego telefon nie wystarcza w sali. Przy pełnym wydarzeniu lista kontrolna konferencji wielojęzycznej obejmuje tor dźwiękowy, kilka scen na jednym linku i budżet. Deweloperzy mogą zrobić to wszystko z kodu przez dokumentację API, po tej samej stawce.
