Πώς λειτουργεί η αυτόματη ανίχνευση γλώσσας στην αναγνώριση ομιλίας, και πότε να ορίσετε τη γλώσσα χειροκίνητα

Ένας ανιχνευτής γλώσσας δίνει πάντα απάντηση, ακόμη και σε έναν βήχα. Αφήστε την ανίχνευση ενεργή για καθαρό ή πολύγλωσσο ήχο, και ορίστε τη γλώσσα όταν μιλιέται μία γλώσσα πάνω από θόρυβο ή με έντονη προφορά.

Κάθε απομαγνητοφώνηση ξεκινά με μια ερώτηση που ο αναγνώστης δεν βλέπει ποτέ: ποια γλώσσα είναι αυτή; Αν η απάντηση είναι λάθος, το υπόλοιπο σύστημα κάνει σκληρή δουλειά για να παράγει άπταιστες ανοησίες. Αυτό το άρθρο εξηγεί τι ακούει ένας ανιχνευτής γλώσσας, πώς συμπεριφέρεται η ανίχνευση για ζωντανό ήχο και για αρχεία, και πότε είναι καλύτερα να ορίσετε εσείς τη γλώσσα.

Τι ακούει ένας ανιχνευτής, και γιατί ένας χαιρετισμός είναι κακό δείγμα

Ένας ανιχνευτής γλώσσας δεν καταλαβαίνει τι λέγεται. Εξετάζει τον ίδιο τον ήχο: το σύνολο των συμφώνων και φωνηέντων, τον τονισμό των συλλαβών, τον ρυθμό των φράσεων και τις σύντομες, συχνές λέξεις στις οποίες στηρίζεται κάθε γλώσσα. Τα ισπανικά έχουν δικό τους σύστημα φωνηέντων και ρυθμό· τα ολλανδικά και τα γερμανικά μοιράζονται πολλά, αλλά διαφέρουν σε μερικούς ήχους. Λίγα δευτερόλεπτα καθαρής ομιλίας συνήθως αρκούν για να τα ξεχωρίσει.

Πολλά συστήματα αναγνώρισης το κάνουν ως παραπροϊόν της αναγνώρισης λέξεων. Αποφασίζουν τη γλώσσα από την αρχή του ήχου, ως πιθανότητα για κάθε γλώσσα που γνωρίζουν. Από αυτόν τον σχεδιασμό προκύπτουν δύο πράγματα. Οι πιθανότητες αθροίζονται πάντα στο ένα, άρα δεν υπάρχει απάντηση «καμία γλώσσα»: η σιωπή, ένας βήχας ή ένα μουσικό κλίμα παίρνουν επίσης γλώσσα, συχνά με σίγουρη βαθμολογία. Και η απόφαση παίρνεται από την αρχή, που είναι το χειρότερο δείγμα που θα μπορούσε να διαλέξει κανείς. Πολλές ηχογραφήσεις ξεκινούν με χαιρετισμούς, ονόματα και τοπωνύμια, που μεταφέρουν πολύ λίγη γλωσσική πληροφορία: το «Good morning, Maria, welcome to Berlin» είναι σχεδόν τόσο γερμανικό όσο και αγγλικό. Άλλες ξεκινούν με σιωπή ή βήχα, και ένας ανιχνευτής που καλείται να αποφασίσει εκεί θα αποφασίσει ούτως ή άλλως, με σιγουριά, πάνω σε το τίποτα. Αυτό συμβαίνει και σε πραγματικό ήχο: ένα ρουμανικό κήρυγμα που ξεκινά με θόρυβο δωματίου και το «Bună dimineața» μπορεί πολύ εύκολα να ακουστεί ως ιταλικό «Buona domenica», με απόλυτη βεβαιότητα.

Το κόστος μιας λανθασμένης απάντησης είναι επίσης χειρότερο απ' ό,τι φαίνεται. Ένα σύστημα αναγνώρισης που αποκωδικοποιεί σε λάθος γλώσσα δεν κάνει ορθογραφικά λάθη· ξαναγράφει. Το «For God so loved the world», αποκωδικοποιημένο ως ρουμανικό, βγήκε ως «Forgot to love the world». Η ρουμανική φράση «mândria slujește», αποκωδικοποιημένη ως αγγλική, βγήκε ως «Pride serves», που είναι μια ακριβής μετάφραση μιας πρότασης που κανείς δεν ζήτησε να μεταφραστεί. Οι λέξεις είναι άπταιστες και η απομαγνητοφώνηση δεν δίνει κανένα σημάδι ότι κάτι δεν πάει καλά, και αυτό είναι που κάνει το σφάλμα ακριβό.

Πέντε πράγματα ξεγελούν τους ανιχνευτές πιο συχνά:

• Θόρυβος. Ο υπόβαθρος βόμβος, ένα κακό μικρόφωνο ή ένα τηλέφωνο πάνω σε τραπέζι θολώνουν ακριβώς τους ήχους που ξεχωρίζουν μια γλώσσα από μια άλλη.
• Σύντομα ή ουδέτερα αρχικά τμήματα. Ένας χαιρετισμός, ένα όνομα ή ένας αριθμός είναι φτωχό δείγμα για τους λόγους που αναφέρθηκαν, και η ακρίβεια πέφτει απότομα σε αποσπάσματα μόλις λίγων δευτερολέπτων, όσο καθαρά κι αν είναι.
• Στενά συγγενικές γλώσσες. Ζεύγη που μοιράζονται το μεγαλύτερο μέρος του ηχητικού τους συστήματος, όπως τα σερβικά και τα κροατικά, τα χίντι και τα ουρντού, τα μαλαισιανά και τα ινδονησιακά, ή τα δανέζικα και τα νορβηγικά, είναι εκεί που η ανίχνευση είναι πιο αδύναμη, γιατί οι ενδείξεις που ακούει είναι αυτές που έχουν αυτές οι γλώσσες κοινές.
• Έντονες προφορές. Η προφορά μετατοπίζει τα φωνήεντα και τον ρυθμό προς μια άλλη γλώσσα, και ο ανιχνευτής τους ακολουθεί εκεί.
• Εναλλαγή γλωσσών. Πολλοί άνθρωποι μετακινούνται ανάμεσα σε δύο γλώσσες μέσα σε μία συζήτηση, μερικές φορές μέσα σε μία πρόταση. Ένας ανιχνευτής που αποφασίζει μία φορά, στην αρχή, κάνει λάθος για όσα ειπώθηκαν στην άλλη γλώσσα.

Ποιο από αυτά σας επηρεάζει εξαρτάται από το αν ο ήχος φτάνει ζωντανά ή βρίσκεται ήδη σε ένα αρχείο.

Ζωντανά: ανίχνευση καθώς προχωρά· ο ομιλητής μπορεί να αλλάξει γλώσσα

Σε μια ζωντανή απομαγνητοφώνηση δεν υπάρχει ολόκληρη η ηχογράφηση για να την εξετάσει κανείς. Ο ήχος φτάνει καθώς ειπώνεται, και η απομαγνητοφώνηση πρέπει να φτάνει μαζί του. Γι' αυτό η γλώσσα ανιχνεύεται καθώς μιλά ο ομιλητής, και ακολουθείται αν αλλάξει γλώσσα. Αυτό σημαίνει η σημείωση κάτω από τον διακόπτη Spoken language όταν ξεκινάτε μια ζωντανή απομαγνητοφώνηση στο Dashboard: η γλώσσα του ομιλητή ανιχνεύεται αυτόματα, και ο ομιλητής μπορεί να αλλάξει γλώσσα ανά πάσα στιγμή.

Μια αλλαγή επιβεβαιώνεται πριν εφαρμοστεί, ώστε ένα μόνο θορυβώδες τμήμα να μην παρασύρει την απομαγνητοφώνηση σε άλλη γλώσσα. Το αδύναμο σημείο είναι η αρχή: αν τα πρώτα λόγια είναι ένας θορυβώδης χαιρετισμός, η πρώτη γραμμή μπορεί να βγει στη λάθος γλώσσα. Ο ορισμός της γλώσσας αποφεύγει αυτό το πρόβλημα.

Τα αρχεία λειτουργούν διαφορετικά, γιατί ολόκληρη η ηχογράφηση είναι ήδη διαθέσιμη.

Αρχεία: ολόκληρη η ηχογράφηση είναι διαθέσιμη

Ένα αρχείο είναι καλύτερο πρόβλημα: δεν χρειάζεται να εμπιστευτούμε τα πρώτα δευτερόλεπτα. Για ένα αρχείο, η γλώσσα αποφασίζεται από ολόκληρη την ηχογράφηση, οπότε ένας θορυβώδης χαιρετισμός στην αρχή δεν μπορεί να την κρίνει μόνος του.

Η γλώσσα ενός αρχείου εξακολουθεί να είναι μια εργασιακή υπόθεση, όχι ετυμηγορία. Μια ηχογράφηση που αλλάζει πραγματικά γλώσσα στη μέση, όπως μια συνέντευξη που περνά από τα αγγλικά στα ρουμανικά για το δεύτερο μισό, ακολουθείται αντί να αναγκάζεται σε μία γλώσσα, και μία που εναλλάσσει γλώσσες συνεχώς αντιμετωπίζεται επίσης.

Ένας ανιχνευτής που αποφασίζει μία φορά και δεν ξαναγυρίζει είναι σίγουρος στο λάθος σημείο.

Πότε να ορίσετε τη γλώσσα

Κανένας ανιχνευτής δεν βοηθά πολύ όταν ολόκληρη η ηχογράφηση είναι θορυβώδης. Η ανίχνευση είναι η προεπιλογή, γιατί είναι σωστή στις περισσότερες περιπτώσεις και δεν σας κοστίζει τίποτα. Για ορισμένες ηχογραφήσεις, όμως, πρέπει να ορίσετε τη γλώσσα, και το Dashboard λέει ποιες: ο ορισμός της ομιλούμενης γλώσσας βελτιώνει την ακρίβεια σε θορυβώδεις ηχογραφήσεις και σε έντονες προφορές.

Αυτές είναι οι περιπτώσεις όπου η ανίχνευση έχει τα λιγότερα να δουλέψει. Ο θόρυβος αφαιρεί τις ενδείξεις στις οποίες στηρίζεται ένας ανιχνευτής· μια έντονη προφορά τις μετατοπίζει προς άλλη γλώσσα· ένα στενά συγγενικό ζεύγος προσφέρει εξαρχής λίγες ενδείξεις. Ένας αγγλόφωνος ομιλητής με έντονη πορτογαλική προφορά σε μια αντηχητική αίθουσα είναι δύσκολο να προσδιοριστεί μόνο από τον ήχο, και αν ο ανιχνευτής τον τοποθετήσει λάθος, η απομαγνητοφώνηση μετατρέπει τα αγγλικά λόγια σε πορτογαλικά όσο διαρκεί το λάθος. Ο ορισμός της γλώσσας αφαιρεί το ερώτημα, οπότε όλη η προσπάθεια πηγαίνει στα λόγια.

Μια σύντομη λίστα ελέγχου:

1. Μία γλώσσα, καθαρός ήχος. Αφήστε την ανίχνευση ενεργή. Θα βρει σωστά τη γλώσσα, και διατηρείτε την ελευθερία να αλλάξετε.
2. Μία γλώσσα, φτωχός ήχος, έντονη προφορά ή στενά συγγενική γλώσσα. Ορίστε τη γλώσσα. Αυτή είναι η περίπτωση για την οποία μιλά η σημείωση του Dashboard, και τα στενά συγγενικά ζεύγη που αναφέρθηκαν είναι εκεί που βοηθά περισσότερο.
3. Δύο ή περισσότερες γλώσσες στην ηχογράφηση. Αφήστε την ανίχνευση ενεργή, ώστε κάθε μέρος να απομαγνητοφωνείται στη γλώσσα που πράγματι ειπώθηκε. Αν ορίσετε μία γλώσσα, η άλλη θα αναγκαστεί σε αυτή.
4. Δεν είστε σίγουροι τι υπάρχει στο αρχείο. Αφήστε την ανίχνευση ενεργή. Για ένα αρχείο, η ανίχνευση εξετάζει ολόκληρη την ηχογράφηση.

Ο ορισμός της γλώσσας είναι ρύθμιση της απομαγνητοφώνησης, όχι του λογαριασμού σας, οπότε μπορείτε να αποφασίζετε ανά ηχογράφηση. Όλα τα παραπάνω συνοψίζονται σε μία επιλογή του API.

Στο API: όταν λείπει το spokenLanguage, γίνεται ανίχνευση· session.update κατά τη ροή

Στο API, το spokenLanguage είναι ένας κωδικός γλώσσας, όπως en· αν το παραλείψετε, η γλώσσα ανιχνεύεται. Εμφανίζεται στο settings μιας απομαγνητοφώνησης αρχείου ή συνδέσμου και στις επιλογές μιας συνεδρίας πραγματικού χρόνου. Η ανίχνευση και ο ορισμός καλύπτουν τις ίδιες 100 γλώσσες. Η μετάφραση σε έως 10 από αυτές είναι ξεχωριστή επιλογή και δεν εξαρτάται από το ποια γλώσσα ανιχνεύτηκε ή ορίστηκε. Το πώς η μετάφραση συμβαδίζει με την ομιλία είναι το θέμα του Η καθυστέρηση της ζωντανής μετάφρασης, εξηγημένη.

{ "name": "Board meeting", "settings": { "spokenLanguage": "en", "speakerLabels": "auto" } }

Μια συνεδρία πραγματικού χρόνου δέχεται την ίδια επιλογή κατά τη δημιουργία της, και μπορείτε να την αλλάξετε ενώ ο ήχος ρέει. Ένα μήνυμα κειμένου session.update με νέο spokenLanguage εφαρμόζεται στην ομιλία από εκείνη τη στιγμή και μετά· αν τεθεί σε "" ή "auto", η συνεδρία επιστρέφει στην ανίχνευση, και ένας μη υποστηριζόμενος κωδικός αγνοείται. Μια προβολή λεζαντών με κουμπί γλώσσας μπορεί να επιτρέψει στον χειριστή να ορίσει τη γλώσσα τη στιγμή που βλέπει μια λανθασμένη πρώτη γραμμή, χωρίς επανασύνδεση.

{ "type": "session.update", "spokenLanguage": "ro" }

Η λίστα των κωδικών, με τα ονόματά τους, βρίσκεται στο GET /v1/languages, που δεν χρειάζεται κλειδί. Η πλήρης ροή πραγματικού χρόνου, από τη δημιουργία συνεδρίας στον διακομιστή σας έως την ανάγνωση προσχεδίων και δεσμεύσεων, περιγράφεται στο Απομαγνητοφώνηση σε πραγματικό χρόνο μέσω WebSocket, και η διαδραστική αναφορά βρίσκεται στο {{api}}/docs. Στο Dashboard, η ίδια επιλογή είναι ο διακόπτης Spoken language όταν ξεκινάτε μια νέα απομαγνητοφώνηση, και τα κλειδιά για το API βρίσκονται στο Developers.