WER inahesabu jina lisilo sahihi, nambari isiyo sahihi na neno la kukataa lililopotea sawa na "the" iliyoachwa. Pima mfumo wa unukuzi kwa makosa unayoyanasa na kwa uwezo wako wa kuona masahihisho yake, si kwa namba yake kuu.
Kiwango cha makosa ya maneno (word error rate, WER) ndicho kipimo cha kawaida cha utambuzi wa usemi. Chukua nakala ya marejeo ambayo mtu ameikagua, linganisha matokeo ya mashine nayo neno kwa neno, kisha hesabu aina tatu za makosa: ubadilishaji (neno lisilo sahihi), ingizo (neno ambalo halikusemwa) na ufutaji (neno lililokosekana). Jumlisha, kisha ugawanye kwa idadi ya maneno katika marejeo.
WER = (ubadilishaji + ingizo + ufutaji) / idadi ya maneno katika marejeo
Upangaji huu haufanywi kwa macho. Nakala hizi mbili hupangwa kwa umbali mdogo kabisa wa kuhariri (Levenshtein distance, unaotumika kwa maneno badala ya herufi): kati ya njia zote za kuoanisha matokeo na marejeo, kipima huchagua ile yenye mabadiliko machache kabisa na kuhesabu mabadiliko hayo. Kwa kuwa ingizo huhesabiwa na kigawanyo ni urefu wa marejeo, WER inaweza kupita asilimia 100: mfumo unaojaza dakika tulivu kwa maandishi hupata alama mbaya kuliko ule usioandika chochote.
Chukua kwamba marejeo ni "tutakutana leo na Dk Okafor saa tisa Alhamisi asubuhi", yaani maneno tisa, na mashine inaandika "tutakutana leo na daktari Okoro saa tisa Jumanne asubuhi". Hizo ni ubadilishaji tatu (Dk, Okafor, Alhamisi) juu ya maneno tisa: WER ya asilimia 33. Theluthi mbili ya maneno ni sahihi, lakini bado uko kwenye mkutano usio sahihi siku isiyo sahihi. Kama "Alhamisi" pekee ingekuwa na kosa, alama ingekuwa asilimia 11. Toleo lenye kila neno sahihi lakini lenye "ee" ambalo hakuna aliyelisema pia lingepata asilimia 11, kwa sababu ingizo huhesabiwa sawa na ubadilishaji.
Kabla ya kuhesabu, maandishi yote mawili kwa kawaida hufanyiwa usawazishaji (normalisation), na chaguo zinazofanywa hapo huathiri alama kama mfumo wenyewe. Je, "Dk" ni sawa na "Daktari"? Je, "tisa" ni sawa na "9"? Je, herufi kubwa na alama za uakifishaji zinahesabiwa? Upimaji mkali ungeweka "Dk" dhidi ya "Daktari" kama ubadilishaji. Alama nyingi zilizochapishwa hugeuza herufi zote kuwa ndogo, huondoa alama za uakifishaji na kuandika nambari zote kwa njia moja, kama maneno au kama tarakimu, kabla ya kulinganisha. Kwa hiyo alama ya muuzaji hutegemea kisawazishaji ambacho huwezi kukiona. Lugha zisizo na nafasi kati ya maneno, kama Kichina, Kijapani na Kithai, hazina mpaka safi wa neno wa kuhesabu, kwa hiyo hupimwa kwa kiwango cha makosa ya herufi (character error rate, CER): fomula ile ile, ikitumika kwa herufi.
Mambo mawili yanafuata. Kwanza, WER ya asilimia 5 ni neno moja kati ya ishirini, ambalo ni maneno mia kadhaa katika mazungumzo ya saa moja. Kwa kulinganisha, wanukuu wa binadamu mara nyingi hutajwa kuwa karibu asilimia 4 hadi 5 katika mazungumzo ya kawaida, na matokeo mashuhuri ya mwaka 2017 kwenye kanda ya simu ya Switchboard yalionyesha mashine ikifikia takriban asilimia 5.1. Takwimu zote mbili hutegemea sauti na kanuni za upimaji. Pili, namba hutegemea kabisa sauti ya majaribio: usomaji safi wa sauti hutoa takwimu moja, na jopo lenye kelele, lafudhi na mazungumzo yanayopishana hutoa takwimu tofauti kabisa. WER ya kichwa cha habari inaeleza seti ya majaribio ya muuzaji kama inavyoeleza mfumo wenyewe.
Hiyo ndiyo hesabu. Kisichojumuishwa ni gharama ya kila kosa kwa msomaji.
WER inachukulia kila neno kuwa sawa. Wasomaji hawachukulii hivyo:
Kila moja ya haya ni kosa moja au mawili katika safu ya WER. Katika safu ya msomaji, yanaanzia hakuna chochote hadi mkutano tofauti siku tofauti. Kwa hiyo swali si tu "kiwango cha makosa ni kipi", bali pia "ni aina gani za makosa, na nini kinayanasa".
Tabaka kadhaa hunasa yale ambayo utambuzi hukosea, na kila mabadiliko hurekodiwa ili yaweze kukaguliwa na kutenduliwa. Katika unukuzi mubashara, hili hutokea wakati maandishi bado yanaingia: kila mstari huonekana kwanza kama rasimu ambayo bado inaweza kubadilika, kisha hugeuka kuwa wa mwisho (Ucheleweshaji wa tafsiri mubashara, ulivyoelezwa unaeleza kwa nini).
Makosa mengine yanaendana na sauti lakini si na sentensi: "their" pale ambapo sentensi inahitaji "there". Haya yanaweza kunaswa kutokana na muktadha, na masahihisho hufika kwa wasomaji kama sasisho linaloonekana (transcript.amended katika API), si kama kuandikwa upya kimyakimya. Muktadha ni mzuri kwa maneno ambayo sentensi inaweza kuyatabiri. Hausaidii kabisa kwa yale ambayo hayawezi kutabiriwa.
Majina na istilahi ni makosa ambayo muktadha hauwezi kuyarekebisha, kwa sababu jina mara nyingi huonekana mara moja tu, bila chochote kinachoweza kulitabiri. Hati ya marejeo hutatua hili: mpe mfumo usemi, slaidi au orodha ya majina na istilahi kabla ya kuanza, na maneno yake yatapewa kipaumbele kuliko yale ambayo injini ilisikia vibaya. Wakati wa kurekodi, hati hufuata unukuzi kama kidokezo cha mwigizaji, ili mwenyeji aone injini imefikia wapi. Hati hufunika maneno unayoweza kuyatabiri; kelele na lafudhi huzalisha yale usiyoweza kuyatabiri.
Makosa mengine ni mtu aliyeko chumbani pekee anayeweza kuyaona. Masahihisho ya mkono humruhusu mwenyeji kuandika upya neno au mstari wowote wakati unukuzi bado ni mubashara, na kila msikilizaji kwenye matangazo huona mabadiliko hayo. Mfumo humwelekeza mwenyeji kwenye wagombea wanaowezekana: maneno ambayo injini haikuwa na uhakika nayo yanaweza kupakwa rangi na kupigiwa mstari, na mwenyeji anaweza kupitia sehemu zisizo na uhakika moja baada ya nyingine, badala ya kusoma tena unukuzi mzima. Kupitia API, GET /v1/recordings/{id}/corrections huorodhesha masahihisho ya rekodi, na POST /v1/corrections/{id}/revert hutengua moja; tazama marejeo ya API. Hata mtu aliyeko chumbani hawezi kusahihisha mstari ambao hakuna aliyeweza kuusikia.
Tabaka la mwisho linakubali kwamba sauti zingine haziwezi kurejeshwa. Mstari unapopata alama chini ya kizingiti cha uhakika cha unukuzi (confidence.hideBelow, 0.60 kwa chaguo-msingi), wasikilizaji huona "Sauti haieleweki" mahali pake badala ya makisio, na mstari huo hausomwi kwa sauti kamwe. Wasomaji hupoteza mstari; hawapati mstari wa kubuniwa.
Maswali yaliyounda tabaka hizi yanatumika pia kwa dai lolote la usahihi la muuzaji, pamoja na letu.
Orodha fupi ya kukagua dai lolote la usahihi:
VocalStack haichapishi WER ya ndani, kwa sababu ya sababu ya kwanza hapo juu: ingeelezea seti yetu ya majaribio, si sauti yako. Tunapima usahihi kila wakati. Tunapolinganisha mifumo mingine, tunatumia vipimo huru vilivyochapishwa na takwimu zilizochapishwa na wauzaji, si majaribio ya siri. Kilichobaki ni kwa sauti yako mwenyewe kuamua.
