WER ایک غلط نام، ایک غلط عدد اور چھوٹے ہوئے “not” کو اتنا ہی وزن دیتا ہے جتنا ایک گرے ہوئے “the” کو۔ کسی ٹرانسکرپشن سسٹم کو اس کے بنیادی عدد سے نہیں، بلکہ اس سے جانچیں کہ وہ کون سی غلطیاں پکڑتا ہے اور کیا آپ اس کی اصلاحات دیکھ سکتے ہیں۔
ورڈ ایرر ریٹ تقریر کی شناخت کا معیاری پیمانہ ہے۔ کسی ایسے حوالہ متن کو لیں جسے کوئی شخص جانچ چکا ہو، مشین کے آؤٹ پٹ کو اس کے ساتھ لفظ بہ لفظ ملائیں، اور تین قسم کی غلطیاں گنیں: متبادل (غلط لفظ)، اضافے (ایسا لفظ جو کہا ہی نہیں گیا) اور حذف (لفظ جو غائب ہو)۔ ان سب کو جمع کریں اور حوالہ متن کے الفاظ کی تعداد سے تقسیم کریں۔
WER = (متبادل + اضافے + حذف) / حوالہ متن میں الفاظ کی تعداد
یہ ملان آنکھ سے نہیں کیا جاتا۔ دونوں متون کو کم سے کم ایڈٹ ڈسٹنس (لیونشٹائن ڈسٹنس، جو حروف کے بجائے الفاظ پر لاگو ہوتا ہے) کے ذریعے ملایا جاتا ہے: آؤٹ پٹ کو حوالے کے ساتھ جوڑنے کے تمام طریقوں میں سے scorer وہ طریقہ چنتا ہے جس میں سب سے کم تبدیلیاں ہوں، اور انہیں گنتا ہے۔ چونکہ اضافے گنے جاتے ہیں اور مخرج حوالہ متن کی لمبائی ہے، اس لیے WER 100 فیصد سے بھی بڑھ سکتا ہے: وہ ماڈل جو خاموش منٹ کو متن سے بھر دے، اس ماڈل سے بدتر شمار ہوتا ہے جو کچھ لکھے ہی نہ۔
فرض کریں حوالہ یہ ہے: “we will meet Dr Okafor at nine on Thursday”، یعنی نو الفاظ۔ اور مشین لکھتی ہے: “we will meet the doctor at nine on Tuesday”۔ یہ نو الفاظ پر تین متبادل ہیں (Dr، Okafor، Thursday)، یعنی 33 فیصد WER۔ دو تہائی الفاظ درست ہیں، پھر بھی آپ غلط میٹنگ میں غلط دن پر ہیں۔ اگر صرف “Thursday” غلط ہوتا تو اسکور 11 فیصد ہوتا۔ وہ ورژن جس کے تمام الفاظ درست ہوں مگر ایک “um” اضافی ہو جو کسی نے کہا ہی نہیں، وہ بھی 11 فیصد اسکور کرتا ہے، کیونکہ اضافہ متبادل جتنا ہی شمار ہوتا ہے۔
گنتی سے پہلے دونوں متون عام طور پر normalise کیے جاتے ہیں، اور وہاں کیے گئے انتخاب اسکور کو اتنا ہی بدلتے ہیں جتنا ماڈل۔ کیا “Dr” اور “Doctor” ایک لفظ ہیں؟ کیا “nine” اور “9” ایک ہیں؟ کیا حروف کی حالت اور رموزِ اوقاف گنے جاتے ہیں؟ سخت اسکورنگ “Dr” کو “Doctor” کے مقابل متبادل شمار کرے گی۔ زیادہ تر شائع شدہ اسکور سب کچھ چھوٹے حروف میں کرتے ہیں، رموزِ اوقاف ہٹاتے ہیں اور ہر عدد کو ایک ہی طرح لکھتے ہیں، یعنی الفاظ میں یا ہندسوں میں، پھر موازنہ کرتے ہیں۔ اس لیے کسی وینڈر کا عدد ایک ایسے normaliser پر خاموشی سے منحصر ہوتا ہے جو آپ کو نظر نہیں آتا۔ جن زبانوں میں الفاظ کے درمیان خالی جگہ نہیں ہوتی، جیسے چینی، جاپانی اور تھائی، ان میں گنے جانے کے لیے الفاظ کی واضح حد نہیں ہوتی، اس لیے ان کا اسکور character error rate (CER) سے ہوتا ہے: وہی فارمولا، مگر حروف پر لاگو۔
اس سے دو باتیں سامنے آتی ہیں۔ پہلی، 5 فیصد WER کا مطلب ہے بیس میں سے ایک لفظ، جو ایک گھنٹے کی تقریر میں کئی سو الفاظ بنتا ہے۔ موازنے کے لیے، انسانی ٹرانسکرائبرز کی بات چیت والی تقریر پر کارکردگی اکثر تقریباً 4 سے 5 فیصد بتائی جاتی ہے، اور 2017 کے Switchboard ٹیلی فون کارپس پر ایک بہت حوالہ دیے جانے والے نتیجے میں مشین تقریباً 5.1 فیصد پر تھی، اگرچہ دونوں اعداد آڈیو اور اسکورنگ کے اصولوں پر منحصر ہیں۔ دوسری بات، عدد مکمل طور پر ٹیسٹ آڈیو پر منحصر ہے: صاف پڑھی گئی تقریر ایک عدد دیتی ہے، اور شور والا پینل جس میں لہجے اور ایک ساتھ بولنا ہو، بالکل مختلف عدد دیتا ہے۔ کوئی بھی headline WER وینڈر کے ٹیسٹ سیٹ کو اتنا ہی بیان کرتا ہے جتنا خود وینڈر کے سسٹم کو۔
یہ گنتی ہے۔ اس کے بعد سوال یہ ہے کہ پڑھنے والے کے لیے ہر غلطی کی قیمت کیا ہے۔
WER ہر لفظ کو برابر سمجھتا ہے۔ قارئین ایسا نہیں کرتے:
ان میں سے ہر ایک WER کے کالم میں ایک یا دو غلطیاں ہے۔ قاری کے کالم میں یہ کچھ نہ ہونے سے لے کر ایک مختلف میٹنگ، مختلف دن تک ہو سکتی ہیں۔ اس لیے سوال صرف یہ نہیں کہ غلطی کی شرح کیا ہے، بلکہ یہ بھی کہ کس قسم کی غلطیاں ہیں، اور انہیں کیا پکڑتا ہے۔
کئی تہیں وہ غلطیاں پکڑتی ہیں جو شناخت کے دوران ہو جاتی ہیں، اور ہر تبدیلی ریکارڈ ہوتی ہے تاکہ اسے دیکھا اور واپس کیا جا سکے۔ لائیو ٹرانسکرپشن پر یہ سب اس وقت ہوتا ہے جب متن ابھی آ رہا ہوتا ہے: ہر لائن پہلے ایک ڈرافٹ کے طور پر آتی ہے جو ابھی بدل سکتی ہے، اور پھر فائنل ہو جاتی ہے (لائیو ترجمے کی تاخیر، وضاحت کے ساتھ بتاتا ہے کہ ایسا کیوں ہے)۔
کچھ غلطیاں آواز سے تو ملتی ہیں مگر جملے سے نہیں: جہاں جملے کو “there” چاہیے وہاں “their” لکھا جائے۔ ان کو سیاق سے پکڑا جا سکتا ہے، اور ایک درستگی قاری تک ایک نظر آنے والی اپ ڈیٹ کے طور پر پہنچتی ہے (API میں transcript.amended)، نہ کہ خاموش تبدیلی کے طور پر۔ سیاق ان الفاظ میں اچھا ہے جنہیں جملہ پہلے سے بھانپ سکے۔ جن الفاظ کا اندازہ نہ ہو سکے، ان میں یہ بے بس ہے۔
نام اور تکنیکی اصطلاحات وہ غلطیاں ہیں جنہیں سیاق ٹھیک نہیں کر سکتا، کیونکہ ایک نام اکثر صرف ایک بار آتا ہے، اور اس کے آس پاس کچھ نہیں ہوتا جس سے اس کا اندازہ لگایا جا سکے۔ ایک حوالہ اسکرپٹ یہ حل کرتا ہے: شروع کرنے سے پہلے سسٹم کو تقریر، سلائیڈز یا ناموں اور اصطلاحات کی فہرست دیں، اور اس کے الفاظ کو اس پر فوقیت ملے گی جو انجن نے غلط سنا تھا۔ ریکارڈنگ کے دوران اسکرپٹ ٹیلی پرومپٹر کی طرح ٹرانسکرپٹ کے ساتھ چلتا ہے، تاکہ میزبان دیکھ سکے کہ انجن کہاں تک پہنچا ہے۔ اسکرپٹ ان الفاظ کو کور کرتا ہے جن کا اندازہ لگایا جا سکتا ہے؛ شور والا آڈیو اور لہجے وہ الفاظ پیدا کرتے ہیں جن کا اندازہ نہیں لگایا جا سکتا۔
کچھ غلطیاں صرف وہ شخص دیکھ سکتا ہے جو کمرے میں موجود ہو۔ دستی درستگیاں میزبان کو لائیو ٹرانسکرپشن کے دوران کوئی بھی لفظ یا لائن دوبارہ لکھنے دیتی ہیں، اور براڈکاسٹ پر ہر سامع یہ تبدیلی دیکھتا ہے۔ سسٹم میزبان کو ممکنہ امیدواروں کی طرف اشارہ کرتا ہے: وہ الفاظ جن پر انجن کو شک تھا، رنگ دیے جا سکتے ہیں اور ان کے نیچے لکیر کھینچی جا سکتی ہے، اور میزبان پوری ٹرانسکرپٹ دوبارہ پڑھنے کے بجائے غیر یقینی حصوں میں ایک ایک کر کے آگے بڑھ سکتا ہے۔ API کے ذریعے، GET /v1/recordings/{id}/corrections کسی ریکارڈنگ کی درستگیاں فہرست میں دکھاتا ہے اور POST /v1/corrections/{id}/revert کوئی ایک درستگی واپس کرتا ہے؛ تفصیل کے لیے API ریفرنس دیکھیں۔ تاہم کمرے میں موجود شخص بھی اس لائن کو درست نہیں کر سکتا جو کسی نے سنی ہی نہ ہو۔
آخری تہہ اس بات کو قبول کرتی ہے کہ کچھ آڈیو بازیاب نہیں ہو سکتا۔ جب کوئی لائن ٹرانسکرپشن کی اعتماد کی حد (confidence.hideBelow، ڈیفالٹ 0.60) سے نیچے آتی ہے، تو سامعین اس کی جگہ اندازہ دیکھنے کے بجائے “Audio unclear” دیکھتے ہیں، اور وہ لائن کبھی اونچی آواز میں نہیں پڑھی جاتی۔ قارئین ایک لائن کھو دیتے ہیں؛ وہ ایک من گھڑت لائن حاصل نہیں کرتے۔
وہی سوال جنہوں نے ان تہوں کو شکل دی، کسی بھی وینڈر کے درستگی کے دعوے پر لاگو ہوتے ہیں، بشمول ہمارے۔
کسی بھی درستگی کے دعوے کو پڑھنے کے لیے ایک مختصر فہرست:
VocalStack اپنا اندرونی WER عدد شائع نہیں کرتا، پہلی وجہ کی بنا پر: وہ ہمارے ٹیسٹ سیٹ کو بیان کرے گا، آپ کے آڈیو کو نہیں۔ ہم درستگی کی مسلسل پیمائش کرتے ہیں۔ جہاں ہم دوسرے سسٹمز کا موازنہ کرتے ہیں، وہاں آزاد شائع شدہ بینچ مارکس اور وینڈر کے اپنے شائع کردہ اعداد استعمال کرتے ہیں، نجی ٹیسٹ کبھی نہیں۔ باقی کا فیصلہ آپ کا اپنا آڈیو کرے۔
