Une transcription étiquetée exige deux bonnes réponses, et comme les étiquettes se posent sur les mots, une mauvaise peut être corrigée sans toucher au texte.
Une transcription de réunion répond à deux questions à la fois : ce qui a été dit, et qui l’a dit. Le lecteur ne voit qu’une seule tâche, un nom à côté de chaque réplique. En dessous, il y a deux problèmes distincts, chacun avec ses propres entrées et ses propres façons d’échouer.
La reconnaissance vocale écoute les mots. Elle transforme l’audio en texte et, bien faite, donne l’heure de début et de fin de chaque mot. Peu lui importe que la voix change au milieu d’une phrase : sa tâche est de restituer la phrase correctement.
La diarisation des locuteurs écoute les voix. Elle ne connaît aucun mot. Sa tâche est de découper la chronologie en tours de parole et d’indiquer quels tours appartiennent à la même personne : Locuteur 1, Locuteur 2. Le mot est emprunté à l’anglais « diary » (journal), et l’image correspond bien au résultat : un journal de qui a eu la parole, et quand.
Trois notions voisines sont souvent confondues avec elle. La diarisation indique qui a parlé et quand, sans connaître personne. L’identification du locuteur dit à quelle personne connue appartient un passage de parole, en choisissant parmi un ensemble de voix enregistrées. La vérification du locuteur répond à une question par oui ou par non : cette voix est-elle bien celle de la personne X ? Les affirmations des fournisseurs se lisent plus facilement une fois ces trois notions séparées, car des « étiquettes de locuteur » peuvent désigner aussi bien une estimation grossière des frontières de tours que des noms qui suivent une personne d’un enregistrement à l’autre. Pour savoir ce que ces étiquettes peuvent et ne peuvent pas garantir, regardez à l’intérieur du diariseur.
La plupart des systèmes de diarisation fonctionnent en trois étapes, sans faire intervenir la langue.
Chaque étape peut échouer à elle seule. Un locuteur discret peut passer inaperçu. Deux voix proches peuvent être fusionnées. Une personne qui passe du calme à l’animation peut être scindée en deux.
Le domaine évalue l’ensemble avec le taux d’erreur de diarisation, DER : la part du temps de parole qui a été manquée, détectée à tort comme parole ou attribuée au mauvais locuteur, généralement avec une marge de tolérance d’environ un quart de seconde autour de chaque frontière. Cette marge existe parce que personne, humain ou machine, ne peut situer un changement de locuteur à la milliseconde près. Cette tolérance convient pour évaluer un diariseur isolément. Elle ne convient pas à une transcription, où une frontière décalée d’un quart de seconde tombe sur un mot.
C’est là que les deux problèmes se rencontrent, et que se joue la qualité d’une transcription étiquetée. Un diariseur place ses frontières avec une certaine imprécision, souvent d’une fraction de seconde dans un sens ou dans l’autre. Un moteur de reconnaissance place les mots sur la même chronologie. Si l’on superpose naïvement les deux, une frontière tombe au milieu d’un mot, et la moitié de « demain » revient au Locuteur 1 tandis que l’autre moitié revient au Locuteur 2.
Les étiquettes peuvent aussi être fausses un temps avant d’être justes. Un diariseur est d’autant plus sûr de ses groupes qu’il a entendu d’audio ; une étiquette précoce peut donc paraître fausse à la lumière de ce qui vient ensuite. Sur une transcription en direct, une étiquette peut être révisée après l’affichage d’une réplique : l’API temps réel de VocalStack envoie une trame transcript.amended qui corrige sur place le texte ou le locuteur d’une réplique validée, si bien que le lecteur voit une révision plutôt qu’une contradiction.
Même une étiquette parfaitement placée et parfaitement stable n’est encore qu’un numéro. Un numéro suffit à suivre une conversation ; c’est un nom que les lecteurs veulent lire.
Une étiquette devient un nom de deux façons, qui se complètent.
La première consiste à nommer au sein d’un enregistrement. Chaque locuteur repéré par une transcription reçoit un index, compté à partir de 0. Toute personne ayant accès peut nommer chaque locuteur pendant ou après l’enregistrement. Le nom est une couche posée sur les mots : il peut être défini, modifié ou effacé sans toucher au texte. Via l’API, il s’agit de PUT /v1/recordings/{id}/speakers/{idx} avec un name ; un nom vide l’efface. Une réplique dont le speaker vaut -1 n’a pas d’étiquette, soit parce que les étiquettes étaient désactivées, soit, dans un brouillon en direct, parce que la réplique n’a pas encore été attribuée.
La seconde est la reconnaissance d’un enregistrement à l’autre, le problème d’identification évoqué dans la première section. Un diariseur peut seulement dire que deux voix sont différentes, jamais qui elles sont. Pour passer de « différentes » à « c’est Ana », le système a besoin d’une référence : une voix enregistrée, prélevée sur un enregistrement de cette seule personne. Trente secondes de parole propre sont le minimum, et quelques minutes valent mieux. L’échantillon doit aussi ressembler aux enregistrements auxquels il sera comparé : une même personne au micro d’un ordinateur portable et au micro d’une scène peut paraître moins semblable à une machine que deux inconnus enregistrés de la même façon. Une fois une voix enregistrée, chaque locuteur entendu par une transcription est comparé à elle, et une correspondance reporte le nom dans la transcription. Dans VocalStack, cela se trouve sous Voices ; les transcriptions de fichiers et les sessions en direct du tableau de bord reconnaissent automatiquement vos voix enregistrées, tandis qu’une session de l’API temps réel ne reconnaît que les voix que vous listez dans identifyVoices.
Une voix enregistrée est une donnée biométrique : elle peut reconnaître une personne dans n’importe quel enregistrement et, dans VocalStack, elle sert aussi de voix clonée capable de lire ses répliques à voix haute. Le tableau de bord vous demande de confirmer que vous avez l’autorisation de la personne avant d’en enregistrer une, et une voix peut être supprimée à tout moment.
Tout cela suppose que vous vouliez des étiquettes. Souvent, ce n’est pas le cas.
Une seule personne qui fait une conférence n’a pas besoin de « Locuteur 1 » devant chaque réplique. Le public sait déjà qui tient le micro. Le réglage des étiquettes de locuteur comporte donc trois positions, identiques pour une session en direct, une diffusion, une transcription et un enregistrement.
auto dans l’API). Les répliques sont étiquetées avec leur locuteur dès qu’on entend plus d’une voix ; un enregistrement à un seul locuteur reste en texte brut, et une deuxième voix qui arrive tardivement est tout de même détectée. Le nouveau formulaire de transcription en direct du tableau de bord démarre sur cette position.Un import de fichier accepte la même option speakerLabels, et l’API temps réel permet de la modifier en cours de flux ; les détails figurent dans la référence de l’API. La séparation et le nommage des locuteurs n’ajoutent jamais rien à la facture (la page tarifs indique le barème), si bien que le choix porte sur ce que doit voir le lecteur, et non sur ce que cela coûte.
Activée, la diarisation est bonne sans être magique. Deux situations la mettent encore en échec.
La première est le chevauchement. Lorsque deux personnes parlent en même temps, un passage d’audio porte deux voix. Des diariseurs gérant les chevauchements existent dans la recherche et, de plus en plus, dans les produits : la diarisation neuronale de bout en bout (EEND), par exemple, traite « qui parle » comme un ensemble de questions simultanées par oui ou par non plutôt que comme une seule réponse. La plupart des systèmes de production attribuent toutefois un seul locuteur par passage, et le moteur de reconnaissance placé par-dessus transcrit une voix à la fois. Les voix superposées d’un panel animé constituent l’audio le plus difficile du domaine, et les étiquettes de chaque fournisseur s’y dégradent. C’est aussi, à coup sûr, le passage que tout le monde veut citer ensuite.
La seconde concerne des voix très proches. Des frères et sœurs peuvent produire des plongements trop proches pour être séparés de façon fiable, d’autant plus lorsqu’ils se répondent par de courts tours de parole pendant une heure. L’audio téléphonique aggrave le problème pour tout le monde : une ligne à bande étroite est échantillonnée à 8 kHz et ne transporte rien au-delà d’environ 3,4 kHz, alors qu’une grande partie de ce qui distingue une voix d’une autre se situe au-delà de cette coupure. Deux personnes sur la même ligne téléphonique se ressemblent davantage pour un diariseur qu’elles ne vous semblent à vous.
Le remède le plus pratique pour les deux est situé en amont de tout modèle : donner à chacun son propre micro. Avec une voie par locuteur, la diarisation se réduit à se demander quelle voie est la plus forte, le chevauchement devient deux pistes nettes au lieu d’une seule piste confuse, et l’on ne demande jamais aux plongements de faire le plus dur. Un micro de table unique coûte moins cher et c’est presque toujours ce dont vous disposez, raison pour laquelle le reste de cet article existe.
Aucune de ces limites n’a besoin d’atteindre le lecteur telle quelle. Comme les étiquettes sont une couche posée sur les mots, une étiquette erronée ne vous fait jamais perdre le texte : les noms de locuteurs peuvent être définis ou effacés sur un enregistrement à tout moment, et, lors d’une transcription en direct, l’hôte peut réécrire n’importe quel mot ou toute réplique pendant que la session est en cours, chaque correction étant signalée et annulable.
Pour la partie des mots, ce que mesure le WER et ce qu’il ne voit pas détaille les couches de correction ; le WER est pour le moteur de reconnaissance ce que le DER est pour le diariseur, et une transcription a besoin que les deux soient bas.