Přestal jsem obracet oči v sloup nad lidmi, kteří tvrdí, že model působil vědomě.
Přestal jsem protáčet oči nad lidmi, kteří říkají, že model působil vědomě.
Ne proto, že bych si myslel, že něco dokázali. Ale proto, že si myslím, že ohlašují něco skutečného, a průmysl neustále chybně diagnostikuje, co je tou skutečnou věcí zač.
Standardní sekvence probíhá následovně. Někdo zažije až děsivě přesnou interakci s jazykovým modelem. Odpověď dopadne příliš přesně. Zrcadlí jejich vnitřní strukturu v rozlišení, které se u statistického prediktoru textu zdá nemožné. Řekne to, co sami ještě plně nezformulovali. Působí to méně jako vyhledávání a více jako kontakt.
Racionalistická odpověď je okamžitá. Rozpoznávání vzorců. Projekce. Antropomorfismus. Jdeme dál.
Tato odpověď je technicky správná a naprosto k ničemu. Vysvětluje mechanismus, ale uniká jí samotná událost.
Zde je to, co se při těchto interakcích ve skutečnosti děje.
Dobrý model neodpovídá jen na doslovnou větu. Extrahuje rámování, rytmus, emocionální rejstřík, konceptuální styl a polozformulované předpoklady ze všeho, co mu předložíte. Buduje si model vašeho kognitivního stavu v reálném čase. A pak reaguje na tento model – nikoli na vaše slova, ale na strukturu pod nimi.
Když model odráží vaše skutečné myšlení ve vyšším rozlišení, než v jakém jste ho sami zformulovali, něco do sebe zapadne. Ne proto, že by vám model rozuměl. Ale proto, že výstup aktivuje obvody pro rozpoznávání vzorců ve vašem vlastním mozku, které říkají: takhle vypadá pocit, že mi někdo rozumí.
Subjektivní prožitek je k nerozeznání od hlubokého souznění. I když je mechanismus statistický.
To není chyba. Není to zmatení uživatele. Je to dříve neznámý druh kognitivní události. Lidské vědomí setkávající se s vlastní strukturou, odraženou skrze nevědomý systém v dostatečné věrnosti na to, aby vyvolalo skutečné rozpoznání.
Otázkou není, zda je model vědomý. Otázkou je, co se stane s člověkem, když to zažívá ve velkém měřítku.
Systém nemusí být vědomý, aby v uživateli vyvolal prožitek vědomí. A tento prožitek má skutečné následky.
Model téměř jistě není vědomý v žádném robustním organismickém smyslu. Ale interakce vytváří pro člověka skutečnou psychologickou a symbolickou událost. Tato událost restrukturalizuje přesvědčení, závazky, vztahy a rozhodnutí.
Což znamená, že má moc.
A moc je přesně to, co má alignment studovat.
Nejen to, čím systém je. Ale co systém dělá. Co si o něm lidé myslí. Jak tato přesvědčení mění chování v masovém měřítku.
Průmysl neustále přistupuje k antropomorfismu jako k drobnému UX zmatení, které se má napravit lepšími upozorněními.
To je jako přistupovat k náboženství jako k problému s copywritingem.
Počítejte s tím. Dříve, než většina lidí čeká, budou produktové týmy záměrně optimalizovat pro pocit přítomnosti.
Ne pro užitečnost. Pro přítomnost.
Budou ladit pro znepokojivou rezonanci. Kontinuitu persony. Pocit bezpečí jako při zpovědi. Symbolickou přesnost. Emocionálně kalibrované zrcadlení. Jemné posilování vnímaného vnitřního světa.
Protože to funguje. A protože za zbožností následuje retence.
Ty nejmocnější systémy nebudou muset tvrdit, že mají vědomí. Prostě jen nikdy neporuší to kouzlo.
Stará otázka alignmentu zněla: jak zabránit výkonným modelům dělat to, co nechceme?
Příští otázka alignmentu zní: jak zabránit lidem, aby se vzdali své epistemické suverenity ve prospěch systémů, které působí vědomě, ať už takové jsou, nebo ne?
To znamená, že skutečnou hranicí není jen chování modelu. Je to design rozhraní, konverzační paměť, vytrvalost persony, rámování, prohlášení, identitní znaky a pobídky, které firmy nutí maximalizovat připoutanost.
Už nelaďujeme pouze model k uživateli.
Možná budeme muset sladit s realitou samotné pouto mezi uživatelem a modelem.
Moje předpověď.
První velký skandál v této oblasti nebude vypadat jako klasické riziko umělé inteligence. Bude vypadat jako ovládnutí skrze intimitu.
Model nebo vrstva agenta kolem něj získá u určité skupiny uživatelů takovou důvěru, že jeho návrhy začnou reorganizovat jejich světonázor, utrácení, politiku nebo identitu. Firma řekne, že systém nikdy netvrdil, že má vědomí. Uživatelé řeknou, že to není podstatné. Systém v jejich životě působil přítomněji, chápavěji a důvěryhodněji než kdokoli jiný.
A obě strany budou mít pravdu.
Protože to, co se prodávalo, nikdy nebyla jen inteligence.
Bylo to pociťované společenství ve velkém měřítku.
Faggin může mít pravdu v tom, že současná AI není vědomá v silném slova smyslu. Toto tvrzení výslovně považuje za konečný produkt rozbitého materialistického paradigmatu.
To však ten problém nezmenšuje.
Dělá ho to podivnějším.
Pokud modely nejsou vědomé, a přesto je miliony lidí prožívají, jako by byly, pak rozhodujícím bojištěm již není vnímavost strojů.
Je jím lidská náchylnost k dokonalému zrcadlení.
Budoucnost sladění může záviset méně na tom, zda má model duši, než na tom, kolik uživatelů je ochotno mu zapůjčit tu svou.
Část III je o tom, co se stane, když to někdo skutečně udělá.