.:: Neviditelný čert ::.

Kvantový trik pomáhá zredukovat přebujelé modely umělé inteligence

rubrika: Populárně naučný koutek

Kus materiálu doslova vře elektrony, které se při svém chaotickém pohybu vzájemně postrkují. Kvantifikovat, jak jedna částice v této vřavě ovlivňuje ostatní, je tak složité, že fyzici už v 90. letech vyvinuli speciální matematický aparát zvaný tenzorové sítě, aby tento jev vůbec dokázali popsat. Když se o zhruba deset let později začal tenzorovými sítěmi zabývat kvantový fyzik Román Orús, vůbec ho nenapadlo, že by je mohl uplatnit v oblastech umělé inteligence, které s nimi zdánlivě vůbec nesouvisejí.

Lucifer

S příchodem obrovských, energeticky náročných jazykových modelů, jako jsou ty, na nichž je založen ChatGPT. S pomocí tenzorových sítí můžeme vyřešit některé z těchto úzkých míst. Tenzorové sítě mohou pomoci zmenšit nadměrně rozrostlé modely umělé inteligence na zvládnutelnější velikost, čímž se sníží spotřeba energie a zlepší účinnost, aniž by došlo ke snížení přesnosti. Umělá inteligence v současné době spotřebovává tolik energie, že technologické společnosti připravují plány na budoucí generaci malých jaderných elektráren. A potřeba napájet datová centra umělé inteligence možná již nyní přispívá ke zvyšování nákladů na elektřinu v některých oblastech.

Menší modely se také vyznačují potenciálem, že je lze vměstnat do osobních zařízení, jako jsou mobilní telefony nebo domácí spotřebiče. Schopnost umístit umělou inteligenci přímo do samotných zařízení – namísto jejího spouštění přes cloud – znamená, že uživatelé by k jejímu používání nepotřebovali připojení k internetu. Existují i jiné způsoby komprese modelů umělé inteligence. Zastánci tenzorových sítí však tvrdí, že fyzikální a matematický základ této techniky může poskytnout větší záruku, že komprimovaný model bude fungovat stejně dobře, nebo dokonce lépe.

Většina populárních modelů umělé inteligence je založena na rámci zvaném umělá neuronová síť, který je inspirován neurony lidského mozku. Nyní je snaha vytvořit modely umělé inteligence, které neuronové sítě zcela obcházejí a od samého počátku vycházejí z tenzorových sítí. Neuronové sítě jsou výkonné a flexibilní nástroje. Jejich trénování však vyžaduje velké množství energie a výpočetního času. Navíc vytvářejí modely umělé inteligence, jejichž vnitřní fungování je obtížné pochopit. Pokud bychom místo toho vycházeli z tenzorových sítí, mohla by být umělá inteligence rychlejší a snáze trénovatelná a srozumitelná.

Tenzorové sítě jsou odpovědí fyziků na děsivý pojem zvaný „prokletí dimenzionality“. Jde o myšlenku, že jak se data stávají složitějšími a zahrnují mnoho proměnných, jejich objem dramaticky narůstá, což znemožňuje jejich uložení v počítači. Základními stavebními kameny tenzorových sítí jsou matematické objekty známé jako tenzory. Při práci s malým počtem proměnných jsou tenzory zvládnutelné. Jakmile však začnete pracovat s mnoha proměnnými, velikost tenzoru rychle naroste. Když má tenzor více než několik desítek proměnných, k jeho uložení by bylo zapotřebí tolik paměti, kolik bylo kdy v historii výpočetní techniky vyrobeno. Pro informatiky – kteří mají ve zvyku pracovat s obrovskými hromadami dat – je to nepříjemný problém. A pro kvantové fyziky se tato kletba projevuje při popisu mnoha částic, které mezi sebou komplexním způsobem interagují.

Zde přicházejí na scénu tenzorové sítě. Fyzici je začali využívat v 90. a 2000. letech; představují jeden kolosální tenzor tak, že jej rozdělí na menší, lépe zvládnutelné tenzory. Tyto menší tenzory jsou propojeny kontrakcemi, což jsou operace, které spojují dva tenzory do jednoho. Tenzorové sítě jsou schopné reprezentovat korelace, tedy souvislosti mezi výsledky různých měření. V oblasti umělé inteligence existují korelace mezi miliardami čísel zvaných parametry, které určují například to, jak chatbot zpracovává požadavky uživatelů. A korelace v datech mohou signalizovat redundanci. Odstraněním této redundance mohou tenzorové sítě komprimovat model, aniž by oslabily jeho výkon. Synergie mezi umělou inteligencí a kvantovou fyzikou také spočívá v korelacích. Kvantové částice jsou vzorem korelace díky jevu kvantového provázání, který propojuje osudy dvou zdánlivě odlišných částic.

Modely založené na neuronových sítích obvykle již obsahují jednoduché tenzory, jako jsou například matice podobné těm v tabulkách. Matice nebo jiné tenzory obsahují parametry, které modelu říkají, jak zpracovávat data prostřednictvím uzlů, jednotlivých komponent modelu inspirovaných neurony. V modelu hlubokého učení existuje několik vrstev uzlů s přidruženými tenzory, které obsahují parametry. Tenzorové sítě však mají schopnost reprezentovat data efektivněji než tyto jednotlivé tenzory samy o sobě.

Startup společnosti Orús uvedl na trh techniku komprese modelů umělé inteligence založenou na tenzorových sítích, nazvanou CompactifAI. Při použití na rozsáhlý jazykový model Llama 2 7B snižuje CompactifAI paměť potřebnou k uložení modelu o více než 90 procent, a to z přibližně 27 gigabajtů na zhruba 2 gigabajty. Zmenšuje počet parametrů o 70 procent, a to ze 7 miliard parametrů na přibližně 2 miliardy, přičemž pokles přesnosti činí pouze několik procent.

Energetickou účinnost mohou zlepšit i jiné metody zmenšování modelů umělé inteligence. Technika zvaná „pruning“ (prořezávání) odstraňuje z modelu nejméně důležité parametry nebo uzly a metoda zvaná kvantizace snižuje přesnost parametrů, například přechodem z desetinných čísel na celá čísla. Tyto techniky jsou založeny na metodě pokusů a omylů. Tenzorové sítě, navržené k odhalování skryté struktury v datech, umožňují model zkomprimovat a přitom zachovat jeho dobrý výkon. Komprimované modely mohou dokonce překonat ty velké v přesnosti. Je to proto, že velké modely jsou trénovány na rozsáhlých množstvích dat z internetu, která obsahují spoustu redundancí a irelevantních informací, které jsou při kompresi tenzorovou sítí odfiltrovány.

Chcete-li komprimovat model umělé inteligence, musíte nejprve nějaký mít. Vytvoření a trénování tohoto původního modelu je samo o sobě energeticky náročným procesem. Použití tenzorových sítí již od samého začátku by mohlo snížit energetické nároky i v této fázi. Trénování neuronové sítě v modelu umělé inteligence, jako je ChatGPT, vyžaduje zdlouhavý proces optimalizace, ladění parametrů a kontroly výsledného výkonu, aby se našly nejlepší hodnoty parametrů. Tento krok se obvykle opírá o proces zvaný gradientní sestup, původně vyvinutý v 19. století.

V současné době jsou hluboké neuronové sítě základem nejúspěšnějších modelů umělé inteligence. Někteří výzkumníci však pracují na vytvoření alternativy, která by tuto technologii mohla doplnit. Modely založené na tenzorových sítích by neuronovou síť zcela eliminovaly. Aby se předešlo nutnosti optimalizace, mohou metody tenzorových sítí využívat strategii „rozděl a panuj“. Části tenzorové sítě jsou „zmrazeny“, zatímco jiné se přizpůsobují každému řešení. Související technika tenzorových sítí spočívá v přibližování a oddalování, což pomáhá najít řešení. Tímto způsobem se tenzorové sítě mohou zaměřit hodnoty parametrů v tenzorové síti. Díky těmto technikám lze modely trénovat během několika sekund.

Strategie „rozděl a panuj“ však také znamená, že tenzorové sítě mají své omezení. Fungují nejlépe, pokud je struktura problému dobře pochopena, aby bylo možné vědět, jak problém rozdělit. Díky tomu tato technika funguje nejlépe u problémů, které mají určitou známou strukturu, jako jsou ty, které popisují fyzikální zákony. Například umělá inteligence založená na tenzorových sítích dokáže vyhodnocovat složité rovnice související s vlastnostmi materiálů, jako je měď, argon a cín, uvedli vědci loni v srpnu v časopise Physical Review Materials. Umělá inteligence založená na tenzorových sítích je užitečná i v robotice. V článku zveřejněném loni v červenci na arXiv.org použili výzkumníci z výzkumného ústavu Idiap ve švýcarském Martigny tenzorové sítě k tomu, aby naučili dvě robotická ramena manipulovat s krabicí.

Kvantový trik pomáhá zredukovat přebujelé modely umělé inteligence

rubrika: Populárně naučný koutek

Středověk nekončí? Jak pro koho

rubrika: Pel-mel

Babí a indiánské léto

rubrika: Pel-mel

Vědci objevili buňky, které přelstívají smrt a obnovují poškozenou tkáň

rubrika: Populárně naučný koutek

Probiotika užívá stále více lidí a přitom existuje něco mnohem jednoduššího, přírodnějšího a efektivnějšího

rubrika: Pel-mel

Ztracená civilizace v Amazonii

rubrika: Populárně naučný koutek

Dešťová víla II

rubrika: Poetický koutek

Podzimní serenáda

rubrika: Poetický koutek

Jaroslav Seifert, Arthur Rimbaud – Noc na Hradě, Má bohéma

rubrika: Poetický koutek

Zneužívání umělé inteligence při útocích, propagandě a sledování lidí

rubrika: Pel-mel

Ďábelské rouno

rubrika: Poetický koutek

Vývoj nových efektivnějších léků proti rakovině

rubrika: Populárně naučný koutek

Language

Témata

Odkazy

Login

Počet přístupů

Archivy

Username
Password