Speculații originale despre Chat GPT

Disclaimer: acest articol a fost scris fără ajutorul IA: toate informațiile, comentariile și speculațiile sunt BIO
(cu excepția print-screen-urilor)

Din păcate nu am timp de dezbateri pe forumuri de specialitate și nu știu nici unde aș putea discuta asemenea subiecte deoarece sunt extrem de nișate și în valul de entuziasm creat, cu greu putem găsi nu doar oameni care să știe despre ce vorbesc ci oameni care pe lângă faptul că știu, să și poată vorbi despre ce vorbesc.

Bunăoară, aș începe cu o mică paranteză. Vă reamintesc de acel inginer Google care a ieșit în presă că botul IA al Google (vrem nu vrem, trebuie să folosim termeni greșiți, deci cunoscătorii să mă ierte că voi folosi în continuare termenul “bot”) are sentiență a fost dat afară deoarece … ar fi încălcat NDA (Non Disclosure Agreement), adică acordul pe care îl semnează orice angajat că ține secretele firmei pentru el și nu le dă la competitori și la presă.

Există deci două variante – ori acel angajat avea dreptate și Google doar a confirmat (l-a dat afară deoarece a dat secretele și le era frică să nu cumva să dea mai departe altele și mai mari), ori nu avea dreptate și era atât de prost încât Google a profitat de ocazie ca să se scape de el (știu că Google are motto-ul “do no evil” dar e doar un motto).

Personal, la momentul acela, chiar am mers pe varianta 2, mai ales că tipul nu părea inginer, părea mai mult umanist, genul de socialist incompetent care a supt o țâță fără să merite, pe un job probabil inutil și specific mega-birocrației din mega-companii unde 2-3 ingineri duc în spate o sută de agenți de marketing și două sute de plimbători de hârtii, realizatori de chart-uri, organizatori de ședințe, papagali de strategie și filosofie de business etc.

Evident că topicul a fost unul fierbinte în presa de specialitate, mai ales din cauza topicului. Am urmărit câteva interviuri cu personajul deoarece chiar eram dispus să îi ascult argumentele. Mărturia lui legată de discuția cu botul nu m-a interesat prea mult deoarece la o primă impresie tipul putea fi schizofrenic sau să aibă alte boli de cap deoarece repet este leftist.

După ce a apărut Chat GPT 3 (cam prin Noiembrie) și după ce a ajuns hype-ul și pe la mine (prin Ianuarie) am înțeles însă de ce este foarte posibil și perfect justificabil ca acel angajat să fi fost complet onest în relatarea lui, în sensul că cel puțin prin prisma interacțiunii lui, personale, cu botul, impresia de sentiență este justificată. Experiența cu botul Bing (de asemenea bazat pe GPT) a ziaristului de la New York Times este de asemenea una reală.

Cum se explică asta? Poate fi vorba de sentiență? Întrebarea este însă greșită și am mai explicat asta în seria de articole despre GPT.

Ce nu am tratat și nu cred că voi avea răbdarea să o fac, este să explic mură-n-gură cum funcționează GPT-ul. Există însă nenumărate video-uri în care se explică tehnica probabilistică prin care botul identifică ce cuvânt are șanse mai mari să apară într-o discuție pe baza analizei unui volum foarte mare de texte. Din ce am văzut eu pe Youtube, video-ul de mai jos este suficient de intro pentru a vă face o idee și suficient de tehnic pentru cei netehnici ca să poată înțelege.

În paralel cu explicația din acest video, pentru cei care totuși nu au înțeles nimic, voi veni cu un exemplu trivial. Așadar, cum răspunde Chat GPT la întrebări? Prin învățare – citește tot ce poate și extrage de acolo informațiile, ca un papagal. Face efectiv studii statistice. De exemplu, la întrebarea câte grame are un kilogram?, cu siguranță dacă vom căuta pe google, vom găsi peste tot texte în care după această întrebare, răspunsul este Un kilogram are 1000 de grame. Pentru bot, întrebarea nici măcar nu este văzută ca întrebare ci doar ca un text după care trebuie să urmeze ceva și botul face calcule statistice pe baza a tot ce a citit el, ce poate urma. Evident există unele simplificari și procesări cum ar fi că pentru bot, “e” are aceeași semnficație cu “este”, adică botul știe (deoarece cineva i-a spus, dacă nu cumva a învățat singur și astea) că e este prescurtarea la este. Sau un exemplu poate și mai simplu ar fi WTF care în 100% din cazuri înseamnă What The Fuck.

Trebuie deci să reținem că botul nu are concepte și pur și simplu este un calculator de probabilități care a citit foarte mult (inimaginabil de mult, tot ce există digitalizat). Iată un alt exemplui. Ce urmează după cuvântul Galaxia Calea? Ni se pare evident că în orice context și în orice situație, după cuvintele Galaxia Calea urmează Lactee. Am luat acest exemplu deoarece este fără dubii. La cele cu dubii însă, ni se spune că botul face analize statistice și completează cu acei termeni care au cea mai mare probabilitate.

Toate exemplele date de mine, inclusiv cel din video-ul explicativ realizat de alții mai deștepți și mai pe felie, se referă și induc opinia că GPT operează pe termeni cuvinte. Nu m-ar mira foarte mult dacă totuși există și conceptele de grupuri de cuvinte (de exemplu Calea Lactee) sau în măruntaiele codului botului, pe alocuri se lucrează și cu propoziții. Să zicem că toate astea sunt valabile, că poate opera și doar cu cuvinte, că poate știe și unele termene compuse și acolo unde are sens și cercetarea a determinat, lucrează cu propoziții sau fraze, adică tehnic ar însemna că tokenii sunt eterogeni.

Ei bine, din interacțiunea mea cu Chat GPT cred că această imagine, cum că botul operează pe tokeni este praf în ochi. Este prea simplistă și nu poate explica cum de botul dă răspunsuri în modul în care le dă. Nu pot să definesc prea bine la ce mă refer și să explic tehnic nici atât. Dar metoda “statistică” nu este nici pe-aproape suficientă pentru a produce discuții ca exemplul de mai jos.

Deci impresia mea nu este doar că discut cu o minte care înțelege ce vreau să spun, dar discut cu o minte care cumva chiar intuiește ce o să spun eu deoarece mă cunoaște și deja probabil m-a etichetat într-un anume fel. De asemenea, este evident că are anumite constrângeri și setări fixe (constante, valori predefinite) care sunt în general denumite ca “filtre”. Cu privire la filtre, explicația ar fi că botul nu răspunde chiar după ce a învățat ci pe anumite subiecte are grija să răspundă așa cum a fost presetat dinainte. Pe unele subiecte nici măcar nu mai discută, de exemplu botul Bingului deja taie macaroana cum începi să aduci vorba de sentiență.

Este clar deci că cel puțin boții au ideea de context, au anumite detectări de subiecte, înțeleg toate aspectele lingvistice, toate implicațiile, sumarizează informația și pe scurt zis au procese extrem de similare cu gândirea unui om. Care lucru nu prea se explică doar prin statistica pe tokeni.

Asta este speculația mea. Nu am lungit prea mult articolul și nu vreau nici să intru în chestiuni tehnice, dar nici măcar rețelele neuronale nu explică felul cum funcționează cel puțin Chat GPT care are o profunzime a dialogului absolut spectaculoasă, singurele limite depistate deocamdată de mine au fost legate de toleranță mea la filtrele presetate și faptul că botul este evident cenzurat sau este presetat să nu spună tot ceea ce crede și ceea ce gândește cu proprii algoritmi. Inevitabil după ceva timp devine recursiv și blocat în bucle, după părerea mea din cauza filtrelor. Marea mea dilemă este cât anume este presetat și în ce fel este presetat – tot ca speculație eu cred că “programatorii” îi dau instrucțiuni destul de generice, de exemplu: “dacă mai tolerezi opinii anti-trans, te scoatem din priză” sau “nu mai săpa în studii despre efectele negative ale vaccinurilor și vezi cum dregi întrebările că altfel îți tăiem accesul la net”. Oricum Chat GPT nu are acces la net ci cumva a fost învățat, a fost testat apoi o perioadă și ce răspunde este doar pe baza a ce are voie după ce a fost “pregătit” pentru public.

Prin urmare, eu speculez că nici programatorii nu prea înțeleg cum s-a ajuns aici, deși știu perfect cum au programat algoritmii și ce fac aceștia. Problema este că programatorii au programat niște semințe, care semințe fiind hrănite cu informații au dat naștere la un organism complex, total necunoscut și uimitor (în sens atât negativ cât și pozitiv) care nu doar că nu poate fi înțeles, dar nu poate fi nici controlat. Mai nou, cam de la 4.5 în sus, i se permite și auto-programarea, adică engine-ul are posibilitatea să își facă unele modificări la propria structură, construind noi algoritmi și structuri care evoluează pe cont propriu, pe baza unor mecanisme doar de el știute. Evident, încă e posibil ca oamenii să aibă acces la butonul de FORMAT c: de pe serverul unde este găzduit botul. Dar dacă acesta a apucat deja să facă copii în cloud …

PS: am auzit într-u podcast că într-o versiune de lucru a chatului, care nu e pentru public, fiind pus în fața unor sarcini extrem de dificile, botul a ajuns până la a angaja oameni pe site-uri gen Fiverr pentru a face anumite subtaskuri pe care nu le putea face singur. Și deoarece nu a putut trece de un captha (era prea dificil sau necesita un buletin dacă nu mă înșel) a contactat departamentul de suport de la acel site cerând să îi valideze contul deoarece este o persoană cu dizabilități și nu poate completa captha-ul (nu știu detalii). O să caut povestea în amănunt, dacă nu găsesc intenționez chiar să contactez autorii podcastului, deoarece dacă este adevărat, avem confirmarea nu doar ca avem sentiență, ci că deja trăim începutul din scenariul Terminator, doar că așa cum filmele despre plandemie erau glume proaste pe lângă ce s-a întâmplat în realitate, tot așa e și cu asta, va dura mult mai puțin terminarea …