Dopamín: Ako mozog predpovedá budúcnosť a inšpiruje adaptívnu AI

Nová štúdia odhaľuje, že dopamín v mozgu nefunguje len ako signalizátor odmien, ale vytvára komplexnú mapu možných budúcich scenárov. Tento objav má prekvapivé paralely s pokročilými algoritmami umelej inteligencie.

Predstavte si, že sa rozhodujete, či vystáť rad na vaše obľúbené jedlo v preplnenej reštaurácii alebo si radšej kúpiť rýchle občerstvenie v najbližšej kaviarni. Váš mozog zvažuje nielen potenciálnu chuť jedla, ale aj čas, ktorý strávite čakaním. Po desaťročia vedci študovali, ako mozog robí takéto rozhodnutia, a to pomocou výpočtových modelov založených na "posilňovacom učení" (RL) – systéme, v ktorom sa agenti učia pokusmi a omylmi, vedení odmenami a trestami. Kľúčovým hráčom v tomto procese je dopamínový systém – sieť neurónov, ktoré uvoľňujú chemickú látku dopamín, aby signalizovali, keď veci dopadnú lepšie alebo horšie, ako sa očakávalo. Tradičné RL modely však tento proces zjednodušujú: namiesto toho, aby reprezentovali celú škálu možných oneskorených výsledkov, zlučujú budúce odmeny do jednej očakávanej hodnoty – priemeru.

Ale čo ak mozog nefunguje len na základe priemerov? Nová štúdia z nadácie Champalimaud Foundation zistila, že dopamínové neuróny v skutočnosti kódujú oveľa bohatší obraz budúcnosti. Namiesto jednej predikcie o budúcich odmenách, populácia rôznorodých dopamínových neurónov vytvára mapu možných výsledkov v čase a rozsahu – bohatú, probabilistickú tapisériu, ktorá môže viesť k adaptívnemu správaniu v neustále sa meniacom svete. Tento nový biologický poznatok sa zhoduje s najnovšími pokrokmi v AI – najmä s algoritmami, ktoré pomáhajú strojom učiť sa z rozdelení odmien, a nie z priemerov, čo má ďalekosiahle dôsledky pre autonómne rozhodovanie.

Margarida Sousa, prvá autorka štúdie, hovorí, že inšpiráciou bola prednáška Matthewa Botvinicka z Google DeepMind o distribučnom RL, kde systém nezaznamenáva len jeden odhad budúcej odmeny, ale aj spektrum možných výsledkov a ich pravdepodobností. Joe Paton, hlavný autor, dodáva, že výsledky naznačujú relatívne jednoduchý mechanizmus, pomocou ktorého mozog zisťuje riziko, čo má vplyv na bežné a patologické správanie.

Komentár redakcie: Výsledky štúdie poskytujú hlbší pohľad na to, ako náš mozog plánuje a rozhoduje sa, a zároveň ponúkajú nové inšpirácie pre vývoj pokročilejších a adaptívnejších systémov umelej inteligencie. Otvárajú sa dvere k novým terapiám zameraným na impulzívne správanie.

Vedci testovali túto teóriu pomocou experimentu s myšami, ktoré reagovali na rôzne vône signalizujúce odmeny rôznej veľkosti a s rôznym časovým oneskorením. Zistili, že niektoré neuróny boli citlivejšie na okamžité odmeny, zatiaľ čo iné reagovali silnejšie na oneskorené odmeny. Niektoré neuróny boli "optimistické", reagovali na neočakávane veľké odmeny, zatiaľ čo iné boli "pesimistické", uprednostňovali opatrnejšie odhady budúcej odmeny. "Keď sme sa pozreli na celú populáciu, bolo jasné, že tieto neuróny kódujú pravdepodobnostnú mapu," hovorí Paton. "Nie len či je odmena pravdepodobná, ale aj kedy môže prísť a aká veľká môže byť."

Štúdia tiež zistila, že neuróny sa prispôsobujú prostrediu. Ak boli odmeny zvyčajne oneskorené, neuróny zmenili spôsob, akým hodnotia odmeny v budúcnosti, a stali sa na ne citlivejšími. Daniel McNamee hovorí, že zachovanie rôznorodosti neurónov, kde optimistické zostávajú optimistické a pesimistické opatrné, je kľúčové pre reprezentáciu viacerých možných budúcností súčasne. Táto rôznorodosť pohľadov môže byť kľúčová pre dobré rozhodovanie v nepredvídateľnom svete.

Vedci ukázali, že tento neurónový kód umožňuje zvieratám plánovať inú budúcnosť. V počítačových simuláciách prístup k tejto dopamínom kódovanej mape umožnil umelým agentom robiť inteligentnejšie rozhodnutia – najmä v prostrediach, kde sa odmeny časom menili alebo záviseli od vnútorných potrieb, ako je hlad.

Paton zdôrazňuje, že táto aktivita neurónov umožňuje mozgu konštruovať prediktívnu mapu budúcich odmien a prispôsobovať správanie na základe toho, čo sa pravdepodobne stane. Zistenia otvárajú nové spôsoby uvažovania o impulzívnosti a naznačujú, že terapia alebo zmena prostredia by mohli pomôcť ľuďom prehodnotiť svoje vnímanie sveta a viac dôverovať dlhodobým odmenám.

V čase, keď sa neuroveda a AI čoraz viac učia jedna od druhej, štúdia ponúka presvedčivé prepojenie. Paton dodáva, že začlenenie neurónmi inšpirovaných architektúr, ktoré kódujú nielen jednu predikciu, ale celý rad možných budúcností, by mohlo byť kľúčové pre vývoj strojov, ktoré uvažujú viac ako ľudia.