WER-ը նույն կերպ է գնահատում սխալ անունը, սխալ թիվը և բաց թողնված «not»-ը, ինչպես բաց թողնված «the»-ը։ Տառադարձման համակարգը գնահատեք ըստ այն սխալների, որոնք նա բռնում է, և ըստ այն, թե արդյոք կարող եք տեսնել նրա ուղղումները, այլ ոչ թե ըստ գլխավոր թվի։
Բառերի սխալի մակարդակը (WER) խոսքի ճանաչման ստանդարտ չափանիշն է։ Վերցրեք մարդու կողմից ստուգված հղման տեքստը, դասավորեք մեքենայի արդյունքը դրա դիմաց՝ բառ առ բառ, և հաշվեք երեք տեսակի սխալ՝ փոխարինված բառեր (սխալ բառ), ավելորդ բառեր (բառ, որ երբեք չի ասվել) և բաց թողնված բառեր (բառ, որ պակասում է)։ Գումարեք դրանք և բաժանեք հղման տեքստի բառերի թվի վրա։
WER = (փոխարինված բառեր + ավելորդ բառեր + բաց թողնված բառեր) / հղման տեքստի բառերի թիվը
Դասավորումը աչքով չի արվում։ Երկու տեքստերը հավասարեցվում են նվազագույն խմբագրման հեռավորությամբ (Levenshtein distance, կիրառված բառերի վրա, ոչ թե տառերի)։ Արդյունքը զուգադրելու բոլոր հնարավոր ձևերից գնահատողը ընտրում է այն, որտեղ ամենաքիչ խմբագրումներն են, և հաշվում է դրանք։ Քանի որ ավելորդ բառերը հաշվվում են, իսկ հայտարարը հղման երկարությունն է, WER-ը կարող է գերազանցել 100 տոկոսը. մոդելը, որը լուռ րոպեն տեքստով լցնում է, ավելի վատ գնահատական է ստանում, քան այն, որ ոչինչ չի գրում։
Ենթադրենք հղումն է "we will meet Dr Okafor at nine on Thursday"՝ ինը բառ, իսկ մեքենան գրում է "we will meet the doctor at nine on Tuesday"։ Սա երեք փոխարինում է (Dr, Okafor, Thursday) ինը բառի դիմաց՝ WER 33 տոկոս։ Բառերի երկու երրորդը ճիշտ են, և դուք դեռ սխալ հանդիպման եք գնում սխալ օրը։ Եթե սխալ լիներ միայն "Thursday"-ը, գնահատականը կլիներ 11 տոկոս։ Տարբերակ, որտեղ բոլոր բառերը ճիշտ են, բայց ավելացված է մի "um", որ ոչ ոք չի ասել, նույնպես ստանում է 11 տոկոս, քանի որ ավելորդ բառը հաշվվում է նույնքան, որքան փոխարինումը։
Չափումից առաջ երկու տեքստն էլ սովորաբար նորմալացվում են, և այդ ընտրությունները գնահատականը շարժում են ոչ պակաս, քան մոդելը։ Արդյոք "Dr"-ը նույնն է, ինչ "Doctor"-ը։ Արդյոք "nine"-ը նույնն է, ինչ "9"-ը։ Հաշվվո՞ւմ են արդյոք տառաչափը և կետադրությունը։ Խիստ գնահատումը "Dr"-ը և "Doctor"-ը կնշի որպես փոխարինում։ Հրապարակված գնահատականների մեծ մասը ամեն ինչ փոքրատառ է դարձնում, հեռացնում կետադրությունը և բոլոր թվերը գրում մեկ ձևով՝ կա՛մ բառերով, կա՛մ թվանշաններով, և միայն դրանից հետո համեմատում։ Մատակարարի թիվը, հետևաբար, անտեսանելի նորմալիզատորից է կախված։ Բառերով առանց բացատների գրվող լեզուները, ինչպիսիք են չինարենը, ճապոներենը և թայերենը, բառերի պարզ սահման չունեն, ուստի դրանք գնահատվում են նիշերի սխալի մակարդակով (CER)՝ նույն բանաձևով, բայց կիրառված նիշերի վրա։
Երկու բան է հետևում դրանից։ Նախ, 5 տոկոս WER-ը մեկ բառ է քսանից, ինչը մեկ ժամ տևողությամբ խոսքում կազմում է մի քանի հարյուր բառ։ Մասշտաբի համար՝ մարդ տառադարձողների մասին հաճախ նշվում է մոտավորապես 4-ից 5 տոկոս սովորական խոսակցության վրա, իսկ 2017 թվականի հաճախ մեջբերվող արդյունքը Switchboard հեռախոսային կորպուսի վրա մեքենային դրեց մոտ 5.1 տոկոս, թեև երկու թվերն էլ կախված են աուդիոյից և գնահատման կանոններից։ Երկրորդ, թիվը ամբողջությամբ կախված է թեստային աուդիոյից. մաքուր ընթերցվող խոսքը մի թիվ է տալիս, իսկ աղմկոտ, առոգանություններով և խառնաշփոթ վիճաբանությունը՝ բոլորովին այլ։ Գլխավոր WER-ը նկարագրում է մատակարարի թեստային հավաքածուն այնքան, որքան նրա համակարգը։
Սա հաշվարկն է։ Այն, ինչ բաց է թողնում, յուրաքանչյուր սխալի արժեքն է ընթերցողի համար։
WER-ը յուրաքանչյուր բառ հավասար է համարում։ Ընթերցողները՝ ոչ։
Յուրաքանչյուրը WER սյունակում մեկ կամ երկու սխալ է։ Ընթերցողի սյունակում դրանք տատանվում են զրոյից մինչև մեկ այլ հանդիպում՝ այլ օրով։ Ուստի հարցը ոչ միայն «որքա՞ն է սխալի մակարդակը», այլ նաև «ի՞նչ տեսակի սխալներ են, և ի՞նչն է դրանք բռնում»։
Մի քանի շերտ բռնում է այն, ինչ ճանաչումը սխալ է անում, և յուրաքանչյուր փոփոխություն գրանցվում է, որպեսզի այն կարելի լինի ստուգել և հետ շրջել։ Ուղիղ տառադարձման դեպքում սա տեղի է ունենում, մինչ տեքստը դեռ գալիս է. յուրաքանչյուր տող նախ հայտնվում է որպես նախագիծ, որը դեռ կարող է փոխվել, և հետո դառնում է վերջնական (Ուղիղ թարգմանության ուշացումը, բացատրված բացատրում է, թե ինչու)։
Որոշ սխալներ համապատասխանում են հնչյունին, բայց ոչ նախադասությանը. "their"-ը այնտեղ, որտեղ նախադասությունը պահանջում է "there"։ Դրանք կարելի է բռնել համատեքստից, և ուղղումը ընթերցողներին հասնում է որպես տեսանելի թարմացում (API-ում՝ transcript.amended), այլ ոչ թե լուռ վերագրում։ Համատեքստը լավն է այն բառերի համար, որոնք նախադասությունը կարող է կանխատեսել։ Այն անօգնական է այն բառերի դեպքում, որոնք չի կարող։
Անունները և տեխնիկական տերմինները այն սխալներն են, որ համատեքստը չի կարող ուղղել, քանի որ անունը հաճախ հայտնվում է միայն մեկ անգամ, և նրա շուրջը ոչինչ չկա, որից կարելի լինի կանխատեսել այն։ Հղման սցենարը լուծում է սա. համակարգին տրամադրեք խոսքը, սլայդները կամ անունների ու տերմինների ցանկը նախքան սկսելը, և դրա բառերը առաջնահերթություն կստանան այն բանի նկատմամբ, ինչ շարժիչը սխալ է լսել։ Ձայնագրության ընթացքում սցենարը տեքստին հետևում է տելեպրոմպտերի պես, որպեսզի հաղորդավարը տեսնի, թե շարժիչը որքան է հասել։ Սցենարը ծածկում է այն բառերը, որոնք կարելի է կանխատեսել. աղմկոտ աուդիոն և առոգանությունները արտադրում են այն բառերը, որոնք չեք կարող կանխատեսել։
Որոշ սխալներ կարող է տեսնել միայն սենյակում գտնվող մարդը։ Ձեռքով ուղղումները թույլ են տալիս հաղորդավարին վերագրել ցանկացած բառ կամ տող, մինչ տառադարձումը դեռ ուղիղ է, և հեռարձակման բոլոր ունկնդիրները տեսնում են փոփոխությունը։ Համակարգը հաղորդավարին ուղղորդում է դեպի հավանական թեկնածուները. այն բառերը, որոնց վերաբերյալ շարժիչը անվստահ էր, կարող են գունավորվել և ընդգծվել, և հաղորդավարը կարող է անցնել անորոշ հատվածներով մեկ առ մեկ, այլ ոչ թե կրկին կարդալ ամբողջ տեքստը։ API-ի միջոցով GET /v1/recordings/{id}/corrections-ը թվարկում է ձայնագրության ուղղումները, իսկ POST /v1/corrections/{id}/revert-ը հետ է շրջում մեկ ուղղում. տե՛ս API հղումը։ Սակայն նույնիսկ սենյակում գտնվող մարդը չի կարող ուղղել այն տողը, որ ոչ ոք չի կարողացել լսել։
Վերջին շերտը ընդունում է, որ որոշ աուդիո վերականգնել հնարավոր չէ։ Երբ տողը գնահատվում է տառադարձման վստահության շեմից ցածր (confidence.hideBelow, լռելյայն՝ 0.60), ունկնդիրները դրա փոխարեն տեսնում են "Audio unclear"՝ ենթադրության փոխարեն, և այդ տողը երբեք չի կարդացվում բարձրաձայն։ Ընթերցողը կորցնում է տող, բայց չի ստանում հորինված տող։
Նույն հարցերը, որոնք ձևավորեցին այս շերտերը, աշխատում են ցանկացած մատակարարի ճշգրտության պնդման վրա, ներառյալ մերը։
Ճշգրտության ցանկացած պնդում կարդալու համար՝ կարճ ստուգաթերթ.
VocalStack-ը ներքին WER թիվ չի հրապարակում՝ վերևում նշված առաջին պատճառով. այն կնկարագրեր մեր թեստային հավաքածուն, ոչ թե ձեր աուդիոն։ Մենք ճշգրտությունը չափում ենք անընդհատ։ Երբ համեմատում ենք այլ համակարգեր, օգտագործում ենք հրապարակված անկախ բենչմարքներ և մատակարարների հրապարակած թվեր, երբեք մասնավոր թեստեր։ Մնացածը որոշում է ձեր սեփական աուդիոն։
