CompactifAIren erronka da LLMSk eskatzen dituen baliabide konputazionalen eta energetikoen kontsumoa nabarmen murriztea. Eredu horiek oso handiak eta konplexuak izan ohi dira eta horrek kostu operatibo handiak ditu. Gainera, gaitasun konputazionalak dituzten gailuetan soilik erabil daiteke. CompactifAIren xedea da teknologia kuantikoen eta kuantikoki inspiratutakoen bidez konpontzea arazo hori, eredu horiek eraginkortasuna galdu gabe konprimitzeko, eta adimen artifiziala irisgarriagoa eta jasangarriagoa izateko.
Helburuak
CompactifAIren helburua da Lengoia Eredu Handien (LLM) efizientzia iraultzea, eredu horien ulermen aurreratuaren bidez, teknologia kuantikoak eta kuantikoki inspiratutakoak erabiliz. Helburua da baliabideen eta energiaren kontsumoa nabarmen murriztea, operazioen kostuak jaistea eta muga konputazionalak dituzten gailuetan eredu horiek aplikatu ahal izatea, adimen artifizialak sustatutako irtenbideen irismena eta irisgarritasuna handitzeko.
Erabilera-kasua
CompactifAIk tentsore- eta teknologia-sareen erabileran oinarritutako soluzioa proposatzen du LLMak konprimitzeko, baliabideen eta energiaren kontsumoa murrizteko eta horrekin lotutako kostuak jaisteko. Soluzio hori eraikitzeko, bai tokiko gailuetan, bai hodeian pixkanaka integratuko diren konpresio-tresnak etengabe garatu behar dira, eredu publikoak eta jabetzakoak optimizatuz, aplikazioen gama handi batentzat. Goranzko ikuspegi horrek softwarearen egokitzeko gaitasuna eta etengabeko hobekuntza bermatzen du, eta edozein ingurune operatibotan ezar daiteke.
Azpiegitura
Hibridoa
Erabilitako teknologiak
Kuantikoa
Erabilitako datuak
Ereduaren ikuspegiaren eta aplikazio espezifikoaren arabera, askotariko datasetak erabil daitezke.
Erabilitako baliabideak
Zailtasunak eta ikaskuntza
KPIak (negozioan duen inpaktua eta ereduaren metrikak)