Μια απομαγνητοφώνηση με ετικέτες χρειάζεται και τις δύο απαντήσεις σωστές· και επειδή οι ετικέτες βρίσκονται πάνω από τις λέξεις, μια λανθασμένη μπορεί να διορθωθεί χωρίς να αγγιχτεί το κείμενο.
Η απομαγνητοφώνηση μιας συνάντησης απαντά σε δύο ερωτήματα ταυτόχρονα: τι ειπώθηκε και ποιος το είπε. Ο αναγνώστης βλέπει μία δουλειά, ένα όνομα δίπλα σε κάθε γραμμή. Από κάτω υπάρχουν δύο προβλήματα, το καθένα με τα δικά του δεδομένα εισόδου και τους δικούς του τρόπους αστοχίας.
Η αναγνώριση ομιλίας ακούει για λέξεις. Μετατρέπει τον ήχο σε κείμενο και, όταν γίνεται σωστά, δίνει χρόνο έναρξης και λήξης για κάθε λέξη. Δεν την ενδιαφέρει αν η φωνή άλλαξε στη μέση μιας πρότασης· η δουλειά της είναι να αποδώσει σωστά την πρόταση.
Ο διαχωρισμός ομιλητών ακούει για φωνές. Δεν γνωρίζει λέξεις. Η δουλειά του είναι να χωρίσει τον χρονικό άξονα σε σειρές λόγου και να δηλώσει ποιες σειρές ανήκουν στο ίδιο πρόσωπο: Ομιλητής 1, Ομιλητής 2. Η λέξη δανείζεται από το «diary» (ημερολόγιο), και αυτό αποδίδει σωστά το αποτέλεσμα: ένα αρχείο καταγραφής του ποιος είχε τον λόγο και πότε.
Με αυτόν συχνά συγχέονται τρεις γειτονικοί όροι. Ο διαχωρισμός ομιλητών λέει ποιος μίλησε πότε, χωρίς να γνωρίζει κανέναν. Η ταυτοποίηση ομιλητή λέει σε ποιο γνωστό πρόσωπο ανήκει ένα τμήμα ομιλίας, επιλέγοντας από ένα σύνολο καταχωρισμένων φωνών. Η επαλήθευση ομιλητή απαντά σε ερώτηση ναι ή όχι: είναι αυτή η φωνή πραγματικά το πρόσωπο Χ; Οι δηλώσεις των προμηθευτών γίνονται πιο εύκολα κατανοητές όταν διακρίνονται οι τρεις έννοιες, επειδή οι «ετικέτες ομιλητών» μπορεί να σημαίνουν οτιδήποτε, από μια πρόχειρη εκτίμηση των ορίων σειρών λόγου μέχρι ονόματα που ακολουθούν ένα πρόσωπο από την μία ηχογράφηση στην επόμενη. Για να δείτε τι μπορούν και τι δεν μπορούν να υποσχεθούν αυτές οι ετικέτες, κοιτάξτε μέσα στον διαχωριστή.
Τα περισσότερα συστήματα διαχωρισμού ομιλητών λειτουργούν σε τρία βήματα, και κανένα δεν αφορά τη γλώσσα.
Κάθε βήμα μπορεί να αστοχήσει αυτόνομα. Ένας ήσυχος ομιλητής χάνεται. Δύο όμοιες φωνές συγχωνεύονται. Ένα πρόσωπο που περνά από την ηρεμία στον ενθουσιασμό χωρίζεται σε δύο.
Ο τομέας βαθμολογεί όλα αυτά με το ποσοστό σφάλματος διαχωρισμού, DER: το μερίδιο του χρόνου ομιλίας που χάθηκε, ανιχνεύθηκε εσφαλμένα ως ομιλία ή αποδόθηκε στον λάθος ομιλητή, συνήθως με ένα περιθώριο ανοχής περίπου ενός τετάρτου του δευτερολέπτου γύρω από κάθε όριο. Το περιθώριο υπάρχει επειδή κανείς, άνθρωπος ή μηχανή, δεν μπορεί να τοποθετήσει μια αλλαγή ομιλητή στο χιλιοστό του δευτερολέπτου. Αυτή η ανοχή είναι σωστή για τη βαθμολόγηση ενός διαχωριστή αυτόνομα. Δεν είναι σωστή για μια απομαγνητοφώνηση, όπου ένα όριο που αποκλίνει κατά ένα τέταρτο του δευτερολέπτου πέφτει πάνω σε μια λέξη.
Εδώ συναντιούνται τα δύο προβλήματα, και εδώ κρίνεται η ποιότητα μιας απομαγνητοφώνησης με ετικέτες. Ο διαχωριστής τοποθετεί τα όριά του με κάποια ανακρίβεια, συχνά ένα κλάσμα του δευτερολέπτου προς τη μία ή την άλλη κατεύθυνση. Ο αναγνωριστής τοποθετεί τις λέξεις στον ίδιο χρονικό άξονα. Αν τα επικαλύψετε αφελώς, ένα όριο πέφτει μέσα σε μια λέξη, οπότε το μισό της λέξης «αύριο» ανήκει στον Ομιλητή 1 και το άλλο μισό στον Ομιλητή 2.
Οι ετικέτες μπορεί επίσης να είναι λανθασμένες για λίγο πριν γίνουν σωστές. Ο διαχωριστής αποκτά μεγαλύτερη βεβαιότητα για τις ομάδες του όσο περισσότερο ήχο έχει ακούσει, οπότε μια πρώιμη ετικέτα μπορεί να φαίνεται λανθασμένη με τα κριτήρια όσων ακολουθούν. Σε μια ζωντανή απομαγνητοφώνηση μια ετικέτα μπορεί να αναθεωρηθεί αφού εμφανιστεί η γραμμή: το API πραγματικού χρόνου του VocalStack στέλνει ένα πλαίσιο transcript.amended που διορθώνει στη θέση του το κείμενο ή τον ομιλητή μιας οριστικοποιημένης γραμμής, ώστε ο αναγνώστης να βλέπει την αναθεώρηση και όχι μια αντίφαση.
Ακόμη και μια τέλεια τοποθετημένη, τέλεια σταθερή ετικέτα είναι μόνο ένας αριθμός. Ένας αριθμός αρκεί για να παρακολουθήσει κανείς μια συζήτηση· αυτό που θέλουν να διαβάσουν οι άνθρωποι είναι ένα όνομα.
Μια ετικέτα γίνεται όνομα με δύο τρόπους, που χτίζουν ο ένας πάνω στον άλλο.
Ο πρώτος είναι η ονομασία μέσα σε μια ηχογράφηση. Κάθε ομιλητής που εντοπίζει μια απομαγνητοφώνηση παίρνει έναν δείκτη, με αρίθμηση από το 0. Όποιος έχει πρόσβαση μπορεί να ονομάσει κάθε ομιλητή κατά τη διάρκεια ή μετά την ηχογράφηση. Το όνομα είναι ένα επίπεδο πάνω από τις λέξεις, οπότε μπορεί να οριστεί, να αλλάξει ή να διαγραφεί χωρίς να αγγιχτεί το κείμενο. Μέσω του API αυτό γίνεται με PUT /v1/recordings/{id}/speakers/{idx} και ένα name· ένα κενό όνομα το διαγράφει. Μια γραμμή με speaker ίσο με -1 δεν έχει ετικέτα, είτε επειδή οι ετικέτες ήταν απενεργοποιημένες είτε, σε ένα ζωντανό προσχέδιο, επειδή η γραμμή δεν έχει ακόμη αποδοθεί σε ομιλητή.
Ο δεύτερος είναι η αναγνώριση μεταξύ διαφορετικών ηχογραφήσεων, το πρόβλημα της ταυτοποίησης από την πρώτη ενότητα. Ένας διαχωριστής μπορεί μόνο να πει ότι δύο φωνές είναι διαφορετικές, ποτέ ποιες είναι. Για να περάσει από το «διαφορετικές» στο «αυτή είναι η Άννα», το σύστημα χρειάζεται μια αναφορά: μια αποθηκευμένη φωνή, από ηχογράφηση αυτού του ατόμου. Τριάντα δευτερόλεπτα καθαρής ομιλίας είναι το ελάχιστο, και λίγα λεπτά είναι καλύτερα. Το δείγμα πρέπει επίσης να ακούγεται σαν τις ηχογραφήσεις με τις οποίες θα συγκριθεί: το ίδιο πρόσωπο σε μικρόφωνο φορητού υπολογιστή και σε μικρόφωνο σκηνής μπορεί να μοιάζει λιγότερο στη μηχανή από δύο αγνώστους που ηχογραφήθηκαν με τον ίδιο τρόπο. Μόλις αποθηκευτεί μια φωνή, κάθε ομιλητής που ακούει μια απομαγνητοφώνηση συγκρίνεται με αυτήν, και μια αντιστοιχία μεταφέρει το όνομα στο κείμενο. Στο VocalStack αυτό βρίσκεται στο Voices· οι απομαγνητοφωνήσεις αρχείων και οι ζωντανές συνεδρίες του Dashboard αντιστοιχίζουν αυτόματα τις αποθηκευμένες φωνές σας, ενώ μια συνεδρία του API πραγματικού χρόνου αναγνωρίζει μόνο τις φωνές που παραθέτετε στο identifyVoices.
Μια αποθηκευμένη φωνή είναι βιομετρικό δεδομένο: μπορεί να αναγνωρίσει ένα πρόσωπο σε οποιαδήποτε ηχογράφηση, και στο VocalStack λειτουργεί επίσης ως κλωνοποιημένη φωνή που μπορεί να διαβάσει φωναχτά τις φράσεις του. Το Dashboard σας ζητά να επιβεβαιώσετε ότι έχετε την άδεια του προσώπου πριν την αποθηκεύσετε, και μια φωνή μπορεί να διαγραφεί ανά πάσα στιγμή.
Όλα αυτά προϋποθέτουν ότι θέλετε καθόλου ετικέτες. Συχνά δεν θέλετε.
Ένα πρόσωπο που διαβάζει μια διάλεξη δεν χρειάζεται τον «Ομιλητή 1» μπροστά από κάθε γραμμή. Το κοινό ξέρει ήδη ποιος έχει το μικρόφωνο. Γι' αυτό η ρύθμιση ετικετών ομιλητών έχει τρεις θέσεις, και είναι οι ίδιες σε μια συνεδρία πραγματικού χρόνου, σε μια μετάδοση, σε μια απομαγνητοφώνηση και σε μια ηχογράφηση.
auto στο API). Οι γραμμές επισημαίνονται με τον ομιλητή τους μόλις ακουστεί περισσότερη από μία φωνή· μια ηχογράφηση με έναν ομιλητή παραμένει απλό κείμενο, και μια δεύτερη φωνή που προστίθεται αργότερα εντοπίζεται κανονικά. Η νέα φόρμα ζωντανής απομαγνητοφώνησης του Dashboard ξεκινά από εδώ.Η μεταφόρτωση αρχείου δέχεται την ίδια επιλογή speakerLabels, και το API πραγματικού χρόνου σας επιτρέπει να την αλλάξετε κατά τη ροή· οι λεπτομέρειες βρίσκονται στην τεκμηρίωση του API. Ο διαχωρισμός και η ονομασία των ομιλητών δεν προσθέτουν ποτέ χρέωση (η σελίδα τιμών έχει τον πίνακα τιμών), οπότε η επιλογή αφορά το τι πρέπει να βλέπει ο αναγνώστης και όχι το κόστος.
Όταν είναι ενεργός, ο διαχωρισμός είναι καλός, αλλά δεν είναι μαγικός. Δύο καταστάσεις εξακολουθούν να τον νικούν.
Η πρώτη είναι η επικάλυψη. Όταν δύο άνθρωποι μιλούν ταυτόχρονα, ένα τμήμα ήχου φέρει δύο φωνές. Διαχωριστές που λαμβάνουν υπόψη την επικάλυψη υπάρχουν στην έρευνα και, όλο και περισσότερο, σε προϊόντα: ο νευρωνικός διαχωρισμός από άκρο σε άκρο (EEND), για παράδειγμα, αντιμετωπίζει το «ποιος μιλά» ως ένα σύνολο ταυτόχρονων ερωτήσεων ναι ή όχι και όχι ως μία απάντηση. Τα περισσότερα συστήματα παραγωγής, ωστόσο, εξακολουθούν να αποδίδουν έναν ομιλητή ανά τμήμα, και ο αναγνωριστής από πάνω απομαγνητοφωνεί μία φωνή τη φορά. Οι αλληλοεπικαλύψεις σε μια έντονη συζήτηση πάνελ είναι ο δυσκολότερος ήχος του κλάδου, και οι ετικέτες κάθε προμηθευτή χειροτερεύουν εκεί. Είναι επίσης, με βεβαιότητα, το κομμάτι που όλοι θέλουν να παραθέσουν αργότερα.
Η δεύτερη είναι πολύ όμοιες φωνές. Τα αδέλφια μπορεί να παράγουν ενσωματώσεις πολύ κοντινές για να τις ξεχωρίσει κανείς αξιόπιστα, κυρίως όταν ανταλλάσσουν σύντομες σειρές λόγου για μία ώρα. Ο ήχος τηλεφώνου το επιδεινώνει για όλους: μια γραμμή στενής ζώνης δειγματοληπτείται στα 8 kHz και δεν μεταφέρει τίποτα πάνω από περίπου 3.4 kHz, ενώ μεγάλο μέρος του στοιχείου που ξεχωρίζει τη μία φωνή από την άλλη βρίσκεται πάνω από αυτό το όριο. Δύο άνθρωποι στην ίδια τηλεφωνική γραμμή ακούγονται πιο όμοιοι σε έναν διαχωριστή απ' ό,τι σε εσάς.
Η πιο πρακτική λύση και για τα δύο βρίσκεται πριν από κάθε μοντέλο: δώστε σε κάθε άνθρωπο το δικό του μικρόφωνο. Με ένα κανάλι ανά ομιλητή, ο διαχωρισμός περιορίζεται στο να ερωτά ποιο κανάλι είναι δυνατό, η επικάλυψη γίνεται δύο καθαρές ηχογραφήσεις αντί για μία θολή, και οι ενσωματώσεις δεν καλούνται ποτέ να κάνουν το δύσκολο μέρος. Ένα μόνο επιτραπέζιο μικρόφωνο είναι φθηνότερο και σχεδόν πάντα αυτό που έχετε, γι' αυτό υπάρχει το υπόλοιπο αυτού του άρθρου.
Κανένας από τους δύο περιορισμούς δεν χρειάζεται να φτάσει στον αναγνώστη αμετάβλητος. Επειδή οι ετικέτες είναι ένα επίπεδο πάνω από τις λέξεις, μια λανθασμένη ετικέτα δεν σας κοστίζει ποτέ το κείμενο: τα ονόματα των ομιλητών μπορούν να οριστούν ή να διαγραφούν σε μια ηχογράφηση ανά πάσα στιγμή, και σε μια ζωντανή απομαγνητοφώνηση ο διοργανωτής μπορεί να ξαναγράψει οποιαδήποτε λέξη ή γραμμή όσο εκτελείται, με κάθε διόρθωση σημειωμένη και αναιρέσιμη.
Για την πλευρά των λέξεων, το τι μετρά το ποσοστό σφάλματος λέξεων και τι παραλείπει καλύπτει λεπτομερώς τα επίπεδα διόρθωσης· το WER είναι για τον αναγνωριστή ό,τι είναι το DER για τον διαχωριστή, και μια απομαγνητοφώνηση χρειάζεται και τα δύο χαμηλά.