תמלול ותרגום בזמן אמת מוסברים: איך עובד דיבור לטקסט חי, כמה הוא מאחר, מה משפיע על הדיוק וכמה זה עולה.
תמלול בזמן אמת הופך דיבור לטקסט בזמן שהאדם עדיין מדבר. מילים מופיעות על המסך רגעים אחרי שנאמרו, מתיישבות לשורות סופיות, ואפשר לקרוא אותן עם כל מי שעוקב. הוסיפו תרגום בזמן אמת, וכל קורא יכול לעקוב אחרי אותו דיבור בשפתו, כטקסט או מוקרא בקול.
המדריך הזה עוסק בתמלול ובתרגום בזמן אמת משני הצדדים: מה רואה המאזין, מאיפה יכול להגיע השמע, מה קובע את הדיוק, מה מפתחים מקבלים מה־API וכמה זה עולה.
תמלול בזמן אמת, שנקרא גם תמלול חי או דיבור לטקסט חי, הוא זיהוי דיבור שפועל בזמן שהשמע עדיין מגיע. קובץ מוקלט אפשר לתמלל כשההקלטה כולה ביד. תמלול חי צריך להתחייב למילים כשיש לו רק את כמה השניות האחרונות, ולעמוד בקצב הדובר כל עוד הוא מדבר.
כתוביות חיות הן אותו דבר, מוצגות כשורות קצרות על גבי וידאו או על מסך.
ב־VocalStack תמלול חי יכול להאזין ב־100 שפות. הוא מזהה את השפה המדוברת בעצמו ועוקב אחרי הדובר אם עבר שפה, כפי שאיך עובד זיהוי שפה אוטומטי מסביר, יחד עם מתי כדאי לציין את השפה מראש.
הטקסט מגיע בשני שלבים. המילים החדשות ביותר מופיעות קודם כטיוטה, שעוד יכולה להשתנות כשמגיע עוד שמע. רגע אחר כך הטיוטה מתיישבת לשורה סופית שאינה משתנה שוב.
הטיוטה קיימת כי מערכת זיהוי מחליטה על מילה בחלקה לפי מה שבא אחריה. "Ice cream" ו־"I scream" נשמעים דומה עד שמגיעה המילה הבאה. הצגת הניחוש מוקדם היא מה שגורם לתמליל להרגיש חי.
כמה הטקסט מאחר אחרי הדובר תלוי בשלב:
שתי השהיות נמצאות מחוץ לשרשרת הזו. כשהמקור הוא שידור ציבורי ולא מיקרופון, השידור עצמו כבר מאחר אחרי הקצה החי שלו: שנייה או שלוש לשידור רדיו רגיל באינטרנט, ומכמה שניות ועד חצי דקה ל־HLS. ובמסלול Pay as you go, תמלול חי יכול להימשך עד 15 שניות להתחלה. הפירוט המלא, כולל מצבי ההשהיה Auto, Fast ו־Accuracy, נמצא בהשהיית תרגום חי, מוסברת.
התרגום רץ מעל התמליל. תמלול חי אפשר לתרגם עד 10 שפות בו זמנית, שנבחרו מתוך 100. כל מאזין בוחר אחת מהן במכשיר שלו ויכול להחליף בכל עת; התמליל עד כה מוצג שוב בשפה החדשה.
כל שפה מתורגמת מאותו תמליל, ולכן כל מאזין מקבל את אותן מילים, ותיקון מגיע לכולם.
מאזין שמעדיף להקשיב ולא לקרוא יכול לקבל כל שורה מתורגמת מוקראת בקול. כברירת מחדל כל דובר מקבל קול מהמאגר שונה בבירור, שמתאים למינו, כך שפאנל עדיין נשמע כמו כמה אנשים. בהסכמת הדובר, מארח יכול לשבט את קולו מכ־30 שניות של דיבורו לבדו, והתרגום מוקרא אז בקולו שלו.
הכלל לקולות צר בכוונה. קול מקריא רק מה שאותו אדם אמר, מתורגם לשפה שהמאזין בחר. הוא לעולם לא מקריא טקסט שמישהו מקליד, ולעולם לא מקריא את דברי דובר אחד בקולו של דובר אחר.
איך זה עובד לחדר שלם, מההקמה של המארח ועד מאזין שמאחר, מתואר בקישור אחד, כל שפה.
תמלול חי צריך מקור שמע. אלה המקורות ש־VocalStack מקבלת כיום:
כתוביות בתוך הנגן של YouTube, דרך כפתור ה־CC שלו, יגיעו בקרוב. עד אז, צופים בשידור YouTube עוקבים אחרי הכתוביות בקישור השידור.
אם אתם צריכים תמלול חי ב־Windows כבר היום, התוסף ל־Chrome או ל־Edge, תוסף ה־OBS ולוח הבקרה בדפדפן כולם עובדים שם.
שידור הוא הדרך שבה אחרים עוקבים אחרי תמלול חי. זה קישור אחד וקוד QR. מאזינים פותחים אותו בדפדפן, בוחרים שפה וקוראים. הם לא צריכים חשבון, לא מתקינים דבר ולא עולים כסף: החשבון אינו משתנה עם מספר המאזינים או השפות.
שידור הוא ציבורי כברירת מחדל ואפשר להגן עליו בסיסמה. אם משנים את שם הקישור שלו, הישן ממשיך לעבוד, כך שקוד QR שהודפס בתוכנית לא מתיישן. שידור אחד יכול לשאת כמה תמלולים חיים, כך ששתי במות יכולות לחלוק קישור אחד.
מאזין שמגיע מאוחר רואה את כל מה שנאמר לפני שנכנס, ואז עוקב בשידור חי. אחר כך תצוגת Audience מראה מי הקשיב, באיזו שפה ומתי הצטרף.
לאירועים, רשימת הבדיקה לכנס רב־לשוני מכסה שמע, במות ותקציב, ותמלול בשידור חי לכנסיות, לאולמות הרצאות ולחדרי מועצה מכסה את הגרסה השבועית של אותה הקמה.
כל מה שלמעלה אפשר לעשות מקוד. לשמע חי באפליקציה שלכם, ב־API יש סשנים בזמן אמת: השרת שלכם מבצע קריאה אחת ל־POST /v1/realtime/sessions עם מפתח API ומקבל streamUrl קצר חיים. הלקוח שלכם פותח אליו WebSocket, שולח שמע גולמי כשהוא נקלט וקורא את התמליל חזרה כמסגרות JSON.
המסגרות עוקבות אחרי אותם שני שלבים שהקורא רואה. transcript.draft מחליף את הזנב החי, transcript.committed מוסיף שורה סופית, וכשהתרגום פועל, משפטים שלמים מגיעים עם התרגומים שלהם מצורפים. שפות יעד, תוויות דוברים ומצב ההשהיה אפשר לשנות באמצע סשן באמצעות session.update.
סשן בזמן אמת אינו מאחסן דבר. כשרוצים שהמילים יישמרו, יתוקנו וישותפו עם קהל, מפרסמים את השמע לתמלול חי ולשידור במקום זאת. ערכות SDK רשמיות ל־TypeScript, Python ו־PHP עוטפות את שניהם, ושרת MCP מאפשר לעוזר בינה מלאכותית להשתמש באותו חשבון.
מדריך ה־WebSocket בונה תצוגת כתוביות עובדת צעד אחר צעד, ומדריך ה־API מכיל כל שדה. השימוש ב־API מחויב באותו תעריף כמו לוח הבקרה.
הדיוק נקבע בעיקר לפני שמערכת זיהוי כלשהי רצה, לפי השמע שניתן לה. ארבעה דברים עושים את ההבדל הגדול ביותר.
המיקרופון. מיקרופון קרוב לדובר, או הזנה משולחן הערבוב של המקום, נושא את הקול עם מעט מאוד מהחדר. טלפון על שולחן שומע את הדובר ועוד הד, כיסאות ושיעולים. זה הגורם הבודד הגדול ביותר, ולמה טלפון לא מספיק לחדר מסביר למה.
רעש וחפיפה. רעש רקע גורם למילים שנושרות ולמילים שממציאים, ושני אנשים שמדברים בבת אחת מבלבלים גם את המילים וגם מי אמר אותן. שגיאות בתמלול שמע מונה שבע סיבות נפוצות, איך כל אחת נראית ואיך לתקן אותה.
סקריפט ייחוס. שמות ומונחים מוכרים מזוהים כמו שהם. שמות המוצרים של חברה, ראשי תיבות פנימיים או שם משפחה יוצא דופן של אורח אי אפשר להכיר מראש, ולכן הוסיפו סקריפט או שקפים לפני שמתחילים, והשמות והמונחים שבהם ייכתבו בדיוק כפי שאייתם.
תוויות דוברים. תוויות יכולות להיות Off, On או When Needed, שמדליק אותן ברגע שנשמע דובר שני. דיאריזציה של דוברים מול זיהוי דיבור מסבירה איך שתי התשובות, מה נאמר ומי אמר, נפרדות ומתוקנות בנפרד.
גם מצב ההשהיה משנה: Fast מוציא טקסט מוקדם יותר אבל מתקן יותר ממנו, Accuracy ממתין מעט יותר.
נתון דיוק בודד אומר פחות ממה שנדמה. שיעור שגיאות המילים סופר שם שגוי כמו ה"the" שנשמט, ולכן מה מודד שיעור שגיאות המילים ומה הוא מחמיץ טוען שכדאי לשפוט מערכת לפי השגיאות שהיא מאפשרת לתפוס ולתקן.
אף תמליל חי אינו מושלם, ולכן במסך המארח יש לשונית Fix. היא יכולה לסמן את המילים שמערכת הזיהוי לא הייתה בטוחה בהן, וכל שורה אפשר לפתוח ולתקן. אדם שני ליד השולחן יכול לעבור עליהן בזמן שהדובר ממשיך.
כשהמארח משכתב מילה או שורה, אפילו כזו שעדיין נאמרת, כל מאזין רואה את התיקון, בכל שפה. שורה שנשמעה בביטחון נמוך מדי מוסתרת מהמאזינים כ"Audio unclear" במקום להיות מוצגת בטעות; המארח עדיין רואה אותה.
ההקלטה נשמרת עם התמליל, התיקונים והתרגומים שלה. אחר כך אפשר:
כמה זמן שמע ותמלילים נשמרים תלוי במסלול, ודף התמחור מפרט זאת.
רוב כלי התמלול החי נראים דומה בהדגמה; ההבדלים מתגלים בשאלות שלהלן. העמודה הימנית מתארת את VocalStack כפי שהיא כיום.
| שאלה | למה זה חשוב | VocalStack |
|---|---|---|
| אילו שפות היא שומעת? | כלי שאינו מתמלל את שפת הדובר אינו יכול לעזור, ויהיה התרגום שלו טוב כמה שיהיה. | 100 שפות, מזוהות אוטומטית, עם מעבר באמצע דיבור |
| כמה הטקסט מאחר אחרי הדובר? | קוראים מבחינים בפער שגדל יותר ממילה שגויה מדי פעם. | טקסט מקור באיחור של שבריר שנייה, תרגום שנייה או שתיים אחר כך; שלושה מצבי השהיה |
| האם היא מתרגמת, ומי בוחר את השפה? | שפת כתוביות אחת על מסך אחד משאירה את כולם בחוץ. | עד 10 שפות לתמלול, כל מאזין בוחר את שלו |
| האם היא יכולה להקריא את התרגום? | יש מאזינים שאינם יכולים לקרוא, או מעדיפים שלא. | קולות מהמאגר כברירת מחדל; קול משובט של הדובר בהסכמתו |
| איך הקהל מקבל את זה? | אפליקציות וחשבונות מאבדים אנשים בכניסה. | קישור אחד וקוד QR, בלי חשבון, סיסמה אופציונלית |
| אפשר לתקן טעויות בזמן אמת? | שם שנשמע לא נכון וחוזר שעה שלמה גורם נזק אמיתי. | תיקונים חיים שמגיעים לכל מאזין |
| מאיפה יכול להגיע השמע? | ההקמה שלכם לא צריכה להשתנות כדי להתאים לכלי. | מיקרופון, תוספי דפדפן, אפליקציית שולחן עבודה, OBS, RTMP, קישורי שידור |
| יש API? | ייתכן שתרצו כתוביות בתוך המוצר שלכם. | API של REST ו־WebSocket, ערכות SDK, שרת MCP, באותו תעריף כמו לוח הבקרה |
| איך זה מתומחר? | תמחור לפי מאזין או לפי מושב גדל עם הקהל שלכם. | לפי שנייה של שמע; מאזינים ושפות בחינם |
ב־VocalStack משלמים לפי שנייה של שמע שתומלל. נכון לזמן הכתיבה, תמלול חי עולה $0.60 לשעה וקבצים עולים $0.20 לשעה, בכל מסלול, בלוח הבקרה וגם דרך ה־API. תרגום, קולות, סיכומים, שידור ומאזינים לעולם אינם מוסיפים לחשבון, ולכן הרצאה של שעה שקוראים 200 איש בחמש שפות עולה אותם $0.60 כמו זו שאיש אינו קורא.
המסלולים נבדלים בכמה דברים:
אם אף אחד לא צריך לקרוא תוך כדי, העלו את ההקלטה אחר כך בתעריף הקבצים. המחירים הנוכחיים, משכי השמירה והמגבלות של כל מסלול נמצאים בדף התמחור.
חשבון VocalStack חדש מגיע עם $5 של קרדיט הרשמה ואינו צריך כרטיס. ב־$0.60 לשעה זה כשמונה שעות של תמלול חי, עם תרגום ושידור כלולים. אחר כך משלמים לפי שנייה. מאזינים תמיד בחינם.
כן. תמלול חי אפשר לתרגם עד 10 שפות בו זמנית בזמן שהאדם מדבר. התרגום מופיע שנייה או שתיים אחרי טקסט המקור, וכל מאזין בוחר את שפתו.
זה תלוי בעיקר בשמע. מיקרופון קרוב או הזנה משולחן הערבוב, מעט רעש רקע, דובר אחד בכל פעם וסקריפט ייחוס עם השמות מניבים את התוצאות הטובות ביותר. תיקונים חיים מאפשרים למארח לתקן את מה שעדיין שגוי בזמן שההרצאה נמשכת.
הטקסט בשפת המקור מאחר אחרי הדובר בשבריר שנייה, והתרגומים מגיעים שנייה או שתיים אחר כך. שידור ציבורי מוסיף השהיה משלו לפני שהשמע מגיע ל־VocalStack.
כן, דרך התוסף ל־Chrome או ל־Edge, תוסף OBS Studio או לוח הבקרה בדפדפן. אפליקציית שולחן העבודה זמינה כיום ב־macOS, ו־Windows בקרוב.
לא. מאזינים פותחים את קישור השידור או סורקים את קוד ה־QR שלו בדפדפן, בוחרים שפה וקוראים. אין מה להתקין.
פתחו את לוח הבקרה, הפעילו תמלול חי מהמיקרופון שלכם ופתחו את קישור השידור שלו בטלפון. קרדיט ההרשמה מכסה את השעות הראשונות, ותוכלו לראות בעצמכם את הטיוטות מתיישבות ואת התרגום עוקב אחריהן.