Kui arendajad proovivad esmakordselt transkriptsiooni tehisintellekti mudeleid, on nad sageli põnevil. Tundub, nagu leiaksime maagilise lahenduse, mis äkitselt avab tohutu uue potentsiaali, kuni keegi arvutab arvud. Erutus kaob kiiresti, kui nende tehisintellekti mudelite integreerimise tegelikud kulud äriehitusse selgeks saavad. See võluritükk hakkab rohkem kallise hobi moodi välja nägema. Kõrge kvaliteediga riistvara või pilve teenuse tasud ja skaalimise keerukus kogunevad kiiresti, muutes selle esialgse põnevuse reaalsuse kontrolliks.
Vaatamata oma muljetavaldavale täpsusele ja võimetele, pakuvad head transkriptsiooni tehisintellekti mudelid mitmeid olulisi väljakutseid. Vaatame OpenAI Whisper'i mudeleid, keskendudes nende riistvaravajadustele:
| Model | Size | RAM Requirement | Speed |
|---|---|---|---|
| Whisper Tiny | 39 MB | 1 GB | Very Fast (x10) |
| Whisper Base | 74 MB | 1.5 GB | Fast (x7) |
| Whisper Small | 244 MB | 2 GB | Moderate (x4) |
| Whisper Medium | 769 MB | 5 GB | Slower (x2) |
| Whisper Large-v3 | 1550 MB | 10 GB | Slowest |
Suured tehisintellekti mudelid pakuvad suurt täpsust, kuid vajavad märkimisväärset mälu ja töötlemisvõimsust, mis võib olla keeruline. See kehtib eriti elavate transkriptsioonide puhul, kus kiire töötlemine on otsustav. Suured mudelid võtavad heli töötlemiseks rohkem aega, mis mõjutab kasutajakogemust, kui on vaja koheseid tulemusi.
Kvaliteedi ja tõhususe tasakaalustamiseks ei avalikusta SaaS-i transkriptsiooni teenuse pakkujad tavaliselt, milliseid tehisintellekti mudeleid nad kasutavad, sageli sellepärast, et nad püüavad kulusid vähendada, vältides suuri, ressurssidega intensiivseid mudeleid.
Suuremad mudelid on aga väga olulised teie transkriptsioonide kvaliteedi seisukohast. Sa võid sellest rohkem lugeda siin:
Vaatame, kui kaua võtab aega selle transkriptsioon. 1 tund eelnevalt salvestatud kõne, kasutades Whisper'i large-v3 mudel AWS-is:
| Graphic Card | EC2 Instance | Cost per Hour | Transcription Time | Total Cost |
|---|---|---|---|---|
| NVIDIA A100 | p4d.24xlarge | $32.77 | 10 minutes | $5.46 |
| NVIDIA V100 | p3.2xlarge | $3.06 | 13 minutes | $0.68 |
| NVIDIA T4 | g4dn.xlarge | $0.526 | 40 minutes | $0.35 |
| NVIDIA K80 | p2.xlarge | $0.75 | 50 minutes | $0.75 |
| NVIDIA M60 | g3s.xlarge | $0.75 | 67 minutes | $0.83 |
(Ned kulud põhinevad AWS'i hinnangul N. Virginia piirkond ja võib erineda sõltuvalt teie piirkonnast. Maks ei ole kaasatud. )
Täiendavate tehisintellekti mudelite lisamine, mis parandavad transkriptsiooni, nagu tõlge, sõnade ajamärgid, kokkuvõte või kõneleja päevik, võib veelgi suurendada riistvara nõudeid ja kulusid.
Tänapäeval on avatud lähtekoodiga transkriptsiooni tööriistad suurepärased eksperimenteerimiseks. Sageli panevad need kokku geniaalsed doktorandid, kes püüavad andmeõppe piire edasi lükata. Kahjuks ei ole need enamikule äri nõuetele tootmisvalmis. Et kohandatud lahendus toimiks, vajavad ettevõtted masinõppe eksperte, pilveinsenerid ja palju Python'i arendajaid, mis muutub kiiresti kalliks. Väikeste ja keskmise suurusega ettevõtete jaoks võib selle unistuste meeskonna koostamise kulud olla kõrgemad kui riistvara ise.
Iseseisvate tehisintellekti transkriptsiooni lahenduste säilitamine läheb kaugemale kui esialgne seadistamine ja riistvara. Regulaarsete GPU juhtide uuenduste, turvaparanduste ja tehisintellekti mudeli täiustuste järeltulija hoidmine lisab märkimisväärseid käimasolevaid kulusid. Lisaks sellele on olemas pilvi infrastruktuuri hooldus, süsteemide katkestamise lahendamine, mudelite ümberõpe, kui andmed arenevad, ja uute andmeprivaatsuse eeskirjade järgimise tagamine. Iga üks neist teguritest nõuab aega, oskusi ja ressursse, mis suurendavad omandiõiguse kogukulusid.
Oma transkriptsioonisüsteemi loomine võib tunduda ahvatlev, kuid see on keeruline. See hõlmab mitme mudeli integreerimist, kiiruse optimeerimist ja riistvara skaalatavuse juhtimist. Enamiku meeskondade jaoks on VocalStack'i sarnase platvormi kasutamine palju tõhusam - säästab aega, raha ja peavalu.
Kulude vähendamiseks võivad arendajad proovida luua kohandatud lahenduse, mis on kohandatud nende unikaalsete ärivajaduste järgi. Kuigi see võib olla teostatav meeskondade jaoks, kellel on sügavad teadmised mitmes valdkonnas, ei ole see ilma väljakutseteta. Kvaliteedilise transkriptsiooni puhul ei ole ühtegi ühekordset lähenemisviisi. Tugevate transkriptsiooniteenuste loomine tähendab mitmete tehisintellekti mudelite integreerimist ja skaalitavate pilvetenuste haldamist, mis võivad muutuda keeruliseks ja ressurssidega intensiivseks.
Selle asemel, et ehitada oma kohandatud lahendus nullist, mis võib olla ajaliselt ja kulukas, on tõhusam kasutada VocalStack'i platvormi, mis juba lahendab need väljakutsed. Süsteemi väljatöötamine suurte mudelite käitlemiseks, kiiruse optimeerimiseks, riistvara skaalavusse juhtimiseks ja kulude tõhususe säilitamiseks ei ole triviaalne.
Kasutades väljakujunenud lahendust nagu VocalStack, saate keskenduda sellele, mis on oluline - pakkuda parimat transkriptsiooni kogemust - ilma aja- ja kulukate protsessideta oma infrastruktuuri loomise eest. VocalStack tegeleb kogu raske tööga: alates kiiruse ja skaalatavuse optimeerimisest kuni riistvara vajaduste haldamiseni. See võimaldab teil peavalu ära jätta ja hakata otsekohe pakkuma sujuvat, kvaliteetset transkriptsiooni teenust. Kujutage ette vabadust uuendada ilma muretsemata keeruliste backend-probleemide pärast - seda pakub VocalStack.
Muide, lisatasu puudub,VocalStack kasutab mitmesuguseid tehisintellekti mudeleid, et oluliselt parandada iga transkriptsioon.- Muidugi.
Loe rohkem leheküljel www.vocalstack.com/business
Kui sa oled arendaja ja ei pahanda oma käsi räpane saada, siis miks mitte proovida Whisper'i avatud lähtekoodiga mudeleid? Mine edasi OpenAI Whisper GitHub'i hoidla ja eksperimenteerige erinevate mudelite suurustega. (Hüütus: suuremad mudelid võivad põhjustada masina ülekuumenemise, kui teil ei ole spetsiaalset graafikakaarti).
Pärast mõningaid testide transkriptsioone Whisperiga oma kohalikul masinal, võite hakata tuvastama mitmeid väljakutseid Whisper'i manuaalses kasutamisel. Näiteks võib skaalavus olla kallis ja Whisper ei ole vaikimisi optimeeritud otseülekannete jaoks, mis nõuab täiendavaid kohandatud lahendusi.
Ära muretse, VocalStack kaitseb su selga! Looge VocalStack JavaScript SDK ja transkriptsioon muutub kergesti:
Scroll Up