Technologijų pramonėje vargu ar galima kalbėtis, jei kas nors nepaminėjo išvadų, dirbtinio intelekto (AI) ir mašininio mokymosi (ML). Tačiau svarbu pažymėti, kad nors visi šie terminai yra tarpusavyje susiję, jie taip pat labai skiriasi.
Šiame straipsnyje paaiškinsime esminius skirtumus ir pabrėšime, kaip svarbu naudoti tenzorinio apdorojimo{0}}kraštinę AI technologiją, ypač krašto ir įterptosiose sistemose. Palyginti su sprendimais, pagrįstais grafikos apdorojimo įrenginiais (GPU), tenzorių apdorojimo blokai (TPU) siūlo efektyvesnį ir ekonomiškesnį{2}}našumą. Taip pat pateiksime keletą naudojimo atvejų, iliustruojančių, kada ateityje galite susidurti su pažangiais AI sprendimais.
ML ir išvadų pagrindai
ML reiškia mokymo modelių metodiką, naudojant reprezentatyvius duomenis, kad mašinos išmoktų atlikti užduotis. Šis procesas gali būti labai daug skaičiavimo reikalaujantis, sugeneruojant trilijonus operacijų naujame mokymo duomenų taške. Iteratyvus mokymo proceso pobūdis kartu su didžiuliais mokymo duomenų rinkiniais, kurių reikia, kad būtų pasiektas didelis tikslumas, lemia itin didelio -našumo slankiojo taško{3}}apdorojimo poreikį. ML mokymas geriausiai įgyvendinamas kaip duomenų centrų infrastruktūra, kur dideles kapitalo ir veiklos sąnaudas galima pateisinti amortizavus jas tarp daugybės klientų.
Išvados apima apmokytų modelių naudojimą, kad būtų galima sukurti naujų duomenų, susijusių su reprezentatyviais duomenimis, kuriais remiantis buvo parengtas modelis, atitikmenis. Išvados tikslas – pateikti greitus atsakymus per milisekundes. Išvadų pavyzdžiai: kalbos atpažinimas, kalbos vertimas realiuoju laiku, mašininis matymas ir reklamos įterpimo optimizavimo sprendimai. Nors išvadoms atlikti reikia tik dalies apdorojimo galios, reikalingos mokymui, ji vis tiek gerokai viršija tai, ką gali suteikti tradicinės centrinio procesoriaus (CPU){4}}pagrįstos sistemos, ypač kompiuterinės regos programoms. Štai kodėl tiek daug įmonių kreipiasi į tensor-pagrįstus pagreičio sprendimus,-ar kaip IP ant SoC, ar kaip į -sistemos greitintuvus-, kad pasiektų po-antros reakcijos laiką, reikalingą pakraštyje. Realybė tokia, kad praleisti net minutę ar kelias sekundes apdorojant vaizdus regos sistemoje nėra labai naudinga. Pramoninės regėjimo sistemos siekia milisekundžių{13}lygio apdorojimo greičio.
Mokymo ir išvados atskyrimas
Diegiant tą pačią aparatinę įrangą, kuri naudojama mokant tvarkyti išvadų darbo krūvius, gali prireikti per{0}}išvadų mašinų aprūpinimo greitintuvais ir procesoriaus aparatine įranga. GPU sprendimai, sukurti ML per pastarąjį dešimtmetį, nebūtinai yra optimalus pasirinkimas plataus masto-ML išvadų technologijų diegimui. Žemiau pateikta diagrama puikiai iliustruoja TPU greitintuvų ir GPU greitintuvų palyginimą. Tai aiškiai parodo, kad TPU greitintuvai užtikrina mažesnį energijos suvartojimą, sumažina sąnaudas ir didesnį efektyvumą, palyginti su GPU{5}}pagrįstais AGX sprendimais, tuo pačiu užtikrinant įtikinamus išvadų programų našumo lygius.
Kitas svarbus aspektas, sprendžiant ML mokymo ir išvadų sprendimus, yra programinės įrangos aplinka. Šiandien naudojama daugybė populiarių bibliotekų, pvz., CUDA, skirta NVIDIA GPU, ML sistemos, tokios kaip TensorFlow ir PyTorch, optimizuotos kelių platformų modelių bibliotekos, pvz., Keras, ir kt. Šie įrankių rinkiniai yra būtini kuriant ir mokant ML modelius, tačiau išvadų programoms reikalingas kitoks, mažesnis programinės įrangos įrankių rinkinys.
Išvadų įrankių rinkiniai orientuoti į modelių paleidimą tikslinėse platformose. Jie palaiko apmokytų modelių perkėlimą į platformas, kurios gali apimti kai kurias operatoriaus transformacijas, kvantavimą ir pagrindinio kompiuterio integravimo paslaugas. Tačiau tai yra gana paprastas funkcijų rinkinys, palyginti su tomis, kurių reikia modelio kūrimui ir mokymui.
Išvadų įrankiams naudinga pradėti nuo standartizuoto modelio vaizdavimo. Open Neural Network Exchange (ONNX) yra standartinis ML modelių vaizdavimo formatas. Kaip rodo pavadinimas, tai yra atviras standartas, valdomas kaip Linux Foundation projektas. Tokios technologijos kaip ONNX leidžia atsieti mokymo ir išvadų sistemas, suteikdamos kūrėjams laisvę kiekvienai iš jų pasirinkti skirtingas optimizuotas platformas.
Vizualinių programų pavyzdžiai
Kadangi ML ir išvadų procesorių technologijos toliau tobulėja ir vystosi, taikomųjų programų daugėja. Žemiau pateikiamos tik kelios vietos, kuriose galite susidurti su šia technologija ateityje.
Edge serveriai įmonėse, tokiose kaip gamyklos, ligoninės, mažmeninės prekybos parduotuvės ir finansinės institucijos. Pavyzdžiui, pramoninėje aplinkoje dirbtinis intelektas gali padėti valdyti atsargas, aptikti defektus ir net nuspėti techninę priežiūrą prieš iškilus problemoms. Mažmeninėje prekyboje jis įgalina tokias funkcijas kaip pozos įvertinimas, naudojant kompiuterinį regėjimą žmogaus laikysenai aptikti ir analizuoti. Šios analizės duomenys padeda mažmenininkams-ir{4}}padeda geriau suprasti žmonių elgseną ir pėsčiųjų srautą jų parduotuvėse, todėl jie gali optimizuoti parduotuvių išdėstymą, kad būtų užtikrintas didžiausias pardavimas ir klientų pasitenkinimas.
Aukšto-tikslumo / aukštos-kokybės vaizdavimas, skirtas programoms, įskaitant robotiką, pramoninę automatiką / tikrinimą, medicininį vaizdavimą, mokslinį vaizdą, stebėjimo ir objektų atpažinimo kameras bei fotoniką. Pavyzdžiui, mašininio mokymosi metodai parodė gebėjimą aptikti vėžį apdorojant skaitmeninius rentgeno spindulius. Šis procesas apima ML modelio, skirto rentgeno vaizdams apdoroti, kūrimą, paprastai naudojant išmokytus semantinio segmentavimo algoritmus vėžiniams pažeidimams nustatyti. Mokymų metu radiologų identifikuoti vėžio vaizdai naudojami mokant tinklą, kas nėra vėžys, kas yra vėžys ir kaip atsiranda skirtingos vėžio rūšys. Kuo daugiau ML modelis mokomas, tuo geriau jis leidžia maksimaliai nustatyti teisingas diagnozes ir sumažinti klaidingų diagnozių skaičių. Tai reiškia, kad mašininis mokymasis priklauso ne tik nuo intelektualaus modelio projektavimo, bet ir nuo daugybės (nuo dešimtys tūkstančių iki milijonų) kruopščiai atrinktų duomenų pavyzdžių, kai vėžys buvo nustatytas profesionaliai.
Išmanieji pirkinių krepšeliai{0}}Kelios įmonės kuria ir diegia išmaniąsias apsipirkimo sistemas, kurios atpažįsta produktus ne pagal UPC brūkšninius kodus, o pagal pačios pakuotės išvaizdą. Ši funkcija leidžia pirkėjams tiesiog įdėti prekes į krepšelį arba į kasos sistemą, nereikia surasti UPC kodo ir jo nuskaityti UPC lazeriniu skaitytuvu. Dėl šios technologijos apsipirkimo procesas tampa tikslesnis, greitesnis ir patogesnis.
Tinkamo sprendimo priėmimas
Įmonės turi įvertinti visus šiandien prieinamus sprendimus ir pasirinkti optimaliausią, atsižvelgdamos į konkretų naudojimo atvejį. Jie taip pat negali tiesiog manyti, kad visi dirbtinio intelekto sprendimai geriausiai įdiegti GPU įrenginiuose, nes TPU{1}}pagrįsti sprendimai užtikrina didesnį apdorojimo efektyvumą ir mažesnį silicio panaudojimą, taip sumažindami energijos sąnaudas ir išlaidas.