NEZADRŽITELNÁ VLNA
Technologie, umělá inteligence, 

moc a největší dilema 21. století 

Mustafa Suleyman,
Michael Bhaskar

NEZADRŽITELNÁ VLNA
Technologie, umělá inteligence, moc a největší dilema 21. století
Mustafa Suleyman, Michael Bhaskar

The Coming Wave
Copyright © 2023 by Mustafa Suleyman and Michael Bhaskar

Překlad: Tomáš Bíla
Odborná korektura: Tomáš Němec
Sazba e-knihy: Slávka Kršková
Originální obálka: Oliver Munday
Obálka dle originálu: Tereza Švarcová
Odpovědná redaktorka: Hana Jarčevská

Vydalo Nakladatelství Audiolibrix
Makovského 1334/26, Řepy, 163 00 Praha 6
v roce 2024 jako svou 48. publikaci
První vydání

Připomínky: audiolibrix.cz/pripominky
Detail titulu: audiolibrix.cz/vlna
Objednávky knih: audiolibrix.cz/objednavky
Při diskusi o knize použijte hashtag #nezadrzitelnavlna
Kniha je dostupná také jako audiokniha na audiolibrix.cz/vlna

České vydání © Audiolibrix s.r.o. 2024

Všechna práva vyhrazena

audiolibrix.cz/nakladatelstvi
Žádná část této publikace nesmí být kopírována a rozmnožována za účelem rozšiřování v jakékoli formě či jakýmkoli způsobem bez písemného souhlasu vydavatele.

ISBN 978-80-88494-39-3 (paperback)
ISBN 978-80-88494-41-6 (epub)
ISBN 978-80-88494-40-9 (pdf)

„Nezadržitelná vlna je fascinující, dobře napsaná a důležitá kniha. Zkoumá existenční nebezpečí, které pro lidstvo představují umělá inteligence a biotechnologie, a nabízí praktická řešení, jak této hrozbě čelit. Přicházející technologická vlna slibuje, že lidstvu poskytne božské tvůrčí schopnosti, ale pokud k ní nebudeme přistupovat uvážlivě, může nás zničit.“

–Yuval Noah Harari,

autor bestselleru New York Times Sapiens

„Toto varování z budoucnosti upozorňuje čtenáře na to, co se blíží a jaké to pravděpodobně přinese globální ekonomické a politické důsledky. Tato skutečně pozoruhodná kniha je ambiciózní a nelze ji ignorovat. Je přesvědčivě vyargumentovaným dílem předního odborníka v oboru, které ovlivní váš pohled na budoucnost – a změní vaše chápání současnosti.“

–Nouriel Roubini,

emeritní profesor na New York University

„Mustafa Suleyman má jako technolog, podnikatel a vizionář zásadní přehled. Důkladně podložená a velice aktuální kniha poskytuje strhující pohled na nejdůležitější výzvy naší doby.“

–Al Gore,

bývalý viceprezident Spojených států amerických

„V této odvážné knize se Mustafa Suleyman, jeden z opravdových znalců špičkových technologií, zabývá nejdůležitějším paradoxem naší doby: Musíme ovládnout nezvladatelné technologie. Jak vysvětluje, generativní umělá inteligence, syntetická biologie, robotika a další inovace se zdokonalují a rychle šíří. Přinášejí velké výhody, ale také reálná a rostoucí rizika. Suleyman je dostatečně moudrý na to, aby věděl, že neexistuje žádný jednoduchý tříbodový plán, jak tato rizika zvládnout, a dostatečně odvážný na to, aby nám to řekl. Tato kniha je upřímná, vášnivá a nebojí se pojmenovat to, co zjevně bude jednou z největších výzev, jimž bude lidstvo v tomto století čelit. Díky Suleymanovi víme, jaká je situace a jaké jsou naše možnosti. Nyní je na nás, abychom jednali.“

–Andrew McAfee,

hlavní vědecký pracovník na MIT Sloan, autor knihy The Geek Way

„Revoluce v oblasti umělé inteligence je v plném proudu, ale jak dobře jí skutečně rozumíme? Nezadržitelná vlna je erudovaným průvodcem nejen po historii radikálních technologických změn, ale i po hlubokých politických výzvách, které nás čekají.“

–Anne Applebaum,

historička a držitelka Pulitzerovy ceny

„Když mi tahle kniha přistála ve schránce, zrušil jsem svůj program a pustil se do čtení. Je to výjimečná a potřebná kniha a je úžasné, že za dvacet let bude možná působit jako konzervativní vize budoucnosti, zatímco dnes se při čtení co pár stránek zastavujeme a žasneme: Může to být pravda? Geniální je, že kniha střízlivě a jemně vysvětluje, že to všechno skutečně bude pravda – a proč a jak. Tón knihy je jemný a laskavý a soucítí se čtenářovým pocitem šoku. Jsou tu i děsivé momenty, které k pocitu, že většina toho, co dobře známe, se brzy změní, neodmyslitelně patří. Převažuje však energie a nadšení z toho, že žijeme právě v této době. Vlna se blíží a tohle je předzvěst.“

–Alain de Botton,

filozof a autor bestsellerů

„Nezadržitelná vlna konkrétně, realisticky a jasně popisuje možné neočekávané a zároveň katastrofální důsledky umělé inteligence, syntetické biologie a dalších pokročilých technologií. Tato důležitá kniha je názornou a přesvědčivou ukázkou, jak by lidé mohli technologické inovace řídit, místo aby jimi byli ovládáni.“

–Martha Minow,

profesorka na Harvardu, bývalá děkanka Harvard Law School

„Zatím nejlepší analýza toho, co pro budoucnost lidstva znamená AI… Mustafa Suleyman je jedinečný jako spoluzakladatel ne jedné, ale hned dvou významných současných společností zabývajících se umělou inteligencí. Je to velice talentovaný podnikatel, hluboký myslitel a jeden z nejdůležitějších odborníků na nové technologie, které budou utvářet náš svět.“

–Reid Hoffman,

spoluzakladatel společností LinkedIn a Inflection

„Mustafa Suleyman v knize Nezadržitelná vlna předkládá pádný argument, že dnešní explozivní technologická revoluce způsobí zcela jedinečný převrat. Přečtěte si tuto zásadní knihu, abyste pochopili tempo a rozsah těchto technologií – jak se budou šířit napříč naší společností a jaký mají potenciál přetvořit strukturu institucí, které organizují náš svět.“

–Ian Bremmer,

zakladatel Eurasia Group, autor bestselleru The Power of Crisis

„Tato zásadní kniha je inspirující a děsivá zároveň. Je kritickým náhledem pro ty, kteří nerozumějí technologickým revolucím, jimiž procházíme, a výzvou pro ty, kteří jim rozumí. Tato kniha se týká budoucnosti nás všech: musíme ji číst a jednat podle ní.“

–David Miliband,

bývalý britský ministr zahraničí

„Mustafa Suleyman předkládá nesmlouvavé hodnocení všech rizik i úžasných úspěchů umělé inteligence a navrhuje řadu opatření, která by vlády světa měly bez odkladu přijmout, aby omezily nejděsivější dopady této revoluční změny.“

–Graham Allison,

profesor na Harvardu, autor bestselleru Destined for War

„Exponenciálně zrychlující vývoj technologií nás ohromil svou silou i záludností. Mustafa Suleyman nám ve svém přehledu historie průmyslového vývoje až po závratné zrychlení technologického pokroku v nedávné minulosti nabízí širší pohled podaný klidným, pragmatickým a hluboce etickým tónem. Jeho osobní zkušenosti činí z knihy Nezadržitelná vlna poutavé čtení pro každého, kdo se chce vymanit z každodenního přívalu technologických novinek.“

–Angela Kane,

bývalá náměstkyně generálního tajemníka OSN a vysoká představitelka pro otázky odzbrojení

Nezadržitelná vlna nabízí zajímavá fakta, poutavé argumenty a přesvědčivé postřehy; je to povinná četba pro každého.“

–Daniel Kahneman,

nositel Nobelovy ceny, autor bestselleru Thinking Fast and Slow

„Málokdo zažil revoluci v oblasti umělé inteligence tak zblízka jako Mustafa Suleyman a nikdo nedokáže lépe popsat rizika a přínosy obrovských technologických změn, ke kterým právě dochází. Jedná se o mimořádného a naprosto nepřehlédnutelného průvodce tímto jedinečným okamžikem v dějinách lidstva.“

–Eric Schmidt,

bývalý generální ředitel společnosti Google, spoluautor knihy The Age of AI

„Neuvěřitelně poutavý pohled na současný vývoj a exponenciální budoucnost umělé inteligence od jednoho z těch nejpovolanějších. Pokud chcete skutečně pochopit, jak může společnost bez úhony přežít nástup technologií, které mění svět, přečtěte si tuto knihu.“

–Bruce Schneier,

odborník na kybernetickou bezpečnost, autor knihy A Hacker’s Mind

„Díky nadcházející vlně umělé inteligence a syntetické biologie bude příští desetiletí tím nejlepším v historii lidstva. Anebo tím nejhorším. Nikdo si rozsah nadcházející výzvy neuvědomuje lépe než Mustafa Suleyman. Tato kniha, která podněcuje k zamyšlení, je napsaná velmi přístupným, ale o to naléhavějším tónem. Je to povinná četba pro každého, kdo má zájem pochopit ohromující sílu těchto technologií.“

–Erik Brynjolfsson,

profesor, Stanford Human–Centered Artificial Intelligence

„Brilantní a poutavá, komplexní a jasná, naléhavá a klidná kniha Nezadržitelná vlna nás všechny vede k pochopení a konfrontaci s možná nejzásadnější otázkou našeho století: Jak můžeme zajistit, aby dechberoucí technologické revoluce, které se na nás valí stále rychlejším tempem – umělá inteligence, syntetická biologie a další – vytvořily svět, jaký chceme? Nebude to snadné, ale Suleyman k tomu klade pevné základy. Tuto knihu by si měl přečíst každý, komu záleží na budoucnosti.“

–Eric Lander,

spoluzakladatel Broadova Institutu, bývalý vědecký poradce Bílého domu

„Pokud chcete pochopit význam, příslib a hrozbu přílivové vlny transformačních technologií, která se dnes zvedá na volném moři a blíží se k nám, pak je tato hluboce obohacující a překvapující kniha Mustafy Suleymana, jednoho z průkopníků umělé inteligence, naprosto nezbytnou četbou.“

–Stephen Fry,

herec, moderátor a autor bestsellerů

„Tato kniha je výzvou k probuzení. Precizně popisuje hrozby a příležitosti spojené se vzrušujícím vědeckým pokrokem posledních let. „Nezadržitelná vlna je fantasticky čtivá, strhující, důkladně podložená kniha z první linie největší technologické revoluce naší doby. Plynule propojuje osobní příběhy a historky z technologického vývoje a ukazuje, proč je posun k pečlivější správě nesmírně výkonných technologií tak důležitý a zároveň tak těžký.“

–Sir Geoff Mulgan,

profesor na University College London

„Technologie rychle mění společnost, a proto je důležitější než kdy jindy, aby představitel technologického průmyslu psal s takovou upřímností a důsledností. Tato kniha nás zavede od vynálezu prvních nástrojů až k jádru současné exploze schopností a výzkumu umělé inteligence. Přináší panoramatický přehled, ale také naléhavou výzvu k akci, kterou nelze ignorovat. Měl by si ji přečíst každý.“

–Fei-Fei Li,

profesorka informatiky na Stanfordově univerzitě, spoluředitelka Institutu pro umělou inteligenci zaměřenou na člověka.

„Jednou z největších výzev, kterým svět čelí, je navrhnout takové formy řízení, které by využívaly výhod umělé inteligence a biotechnologií a zároveň se vyhnuly jejich katastrofickým rizikům. Tato kniha přináší hluboce promyšlený popis‚ výzvy k omezení‘ těchto dvou technologií. Vychází z pečlivého výzkumu a je plná originálních postřehů a konstruktivních doporučení pro tvůrce politik a bezpečnostní experty.“

–Jason Matheny,

generální ředitel společnosti RAND, bývalý zástupce ředitele národního zpravodajství, bývalý ředitel IARPA

„Nezadržitelná vlna čtenáři otevírá oči a přesvědčivě dokládá, že pokročilé technologie mění všechny aspekty společnosti: moc, bohatství, válčení, práci, a dokonce i mezilidské vztahy. Dokážeme tyto nové technologie ovládnout dříve, než ony ovládnou nás? Mustafa Suleyman, světová špička v oblasti umělé inteligence a dlouholetý obhájce toho, aby vlády, velké technologické firmy a občanská společnost jednaly ve prospěch společného dobra, je ideálním průvodcem touto zásadní otázkou.“

–Jeffrey D. Sachs,

univerzitní profesor na Kolumbijské univerzitě, prezident sítě OSN pro řešení udržitelného rozvoje

„Suleyman má jedinečnou pozici k tomu, aby vyjádřil potenciální vážné důsledky neomezeného rozvoje umělé inteligence a syntetické biologie – geopolitické otřesy, války, erozi národního státu – v době, kdy toto poselství potřebujeme nejvíce. Naštěstí pro čtenáře se také hluboce zamyslel nad tím, co je třeba udělat pro to, aby byly nově vznikající technologie využívány pro lidské dobro, a předkládá řadu postupných kroků, které, pokud je jako společnost podnikneme, mohou změnit prostředí, v němž se tyto technologie vyvíjejí a šíří, a otevřít tak dveře k zachování oné světlé budoucnosti. Tuto knihu si musíte přečíst.“

–Meghan L. O’Sullivan,

ředitelka Belferova centra pro vědu a mezinárodní záležitosti na Harvard Kennedy School of Government

„Odvážná výzva k probuzení, na kterou musíme všichni zareagovat, než bude příliš pozdě. Mustafa Suleyman srozumitelně a přesně vysvětluje rizika, která představuje překotný rozvoj technologií, a také výzvy, jimž lidstvo čelí. Nepostradatelné čtení.“

–Tristan Harris,

spoluzakladatel a výkonný ředitel Centra pro humánní technologie

„Praktický a optimistický návod, jak přistupovat k nejdůležitějšímu problému naší doby: jak si udržet moc nad subjekty, které jsou mnohem mocnější než my sami.“

–Stuart Russell,

profesor informatiky na Kalifornské univerzitě v Berkeley

„Nezadržitelná vlna je realistický, hluboce fundovaný a velmi přístupný přehled bezprecedentních výzev, které v oblasti vlády a národní bezpečnosti představují umělá inteligence a syntetická biologie. Suleymanova pozoruhodná a v jistém smyslu děsivá kniha ukazuje, co je třeba udělat, abychom tyto zdánlivě nezvladatelné technologie zvládli.“

–Jack Goldsmith,

profesor práva na Harvardově univerzitě

„Nezadržitelná vlna je pozoruhodně čtivým, osvěžujícím a vyváženým popisem naší současné technologické situace a rozhodující výzvy naší doby. Mísí pragmatismus s pokorou a připomíná nám, že neexistují žádné černobílé otázky ani jednoduché odpovědi: Technologie umožnily exponenciální nárůst našeho blahobytu, ale vyvíjejí se rychleji, než se jim naše instituce dokáží přizpůsobit. Pokroky v oblasti umělé inteligence a syntetické biologie nám otevírají možnosti, o kterých se nám ani nesnilo, a následkem je nekontrolovatelné šíření moci, jež ohrožuje všechno, co jsme vybudovali. Abychom tomuto vývoji dokázali čelit, musíme proplout mezi Skyllou dostupné katastrofy a Charybdou všudypřítomného dohledu. S každou přečtenou stránkou této knihy se naše šance zvyšují.“

–Kevin Esvelt,

biolog a docent MIT Media Lab

„Ostře, soucitně a nekompromisně pojatá kniha Nezadržitelná vlna je povinnou četbou pro odborníky v oblasti technologií, ale především důraznou výzvou pro nás všechny, abychom se zapojili do této důležité diskuse.“

–Qi Lu,

generální ředitel společnosti MiraclePlus, bývalý ředitel společnosti Baidu, bývalý výkonný viceprezident služby Microsoft Bing

SLOVNÍČEK KLÍČOVÝCH POJMŮ

AI, AGI a ACI: Umělá inteligence (AI) je vědní obor, který se zabývá tím, jak naučit stroje učit se schopnostem podobným lidským. Obecná umělá inteligence (AGI) je pomyslný bod, po jehož dosažení dokáže umělá inteligence vykonávat všechny lidské kognitivní dovednosti lépe než nejchytřejší lidé. ACI neboli zdatná umělá inteligence je bod mezi AI a AGI, k němuž se rychle blížíme: ACI dokáže plnit širokou škálu složitých úkolů, ale k obecné inteligenci má ještě daleko.

ČTYŘI VLASTNOSTI: Jedinečné vlastnosti nadcházející vlny, které komplikují její regulaci. Jsou to asymetrie, hyperevoluce, všestrannost a autonomie.

NADCHÁZEJÍCÍ (NEZADRŽITELNÁ) VLNA: Vznikající shluk vzájemně provázaných technologií zaměřených na umělou inteligenci a syntetickou biologii, jejichž transformativní dopady posílí lidstvo a zároveň představují bezprecedentní rizika.

DILEMA: Rostoucí pravděpodobnost, že nové technologie, ale I jejich absence mohou vést ke katastrofickým a/nebo dystopickým důsledkům.

ODPOR VŮČI PESIMISMU: Tendence lidí (zejména elit) ignorovat, bagatelizovat nebo odmítat narativy, které považují za příliš negativní. Jedná se o variantu optimistického zkreslení, která ovlivňuje většinu debat o budoucnosti, zejména v technologických kruzích.

PROBLÉM ZADRŽOVÁNÍ: Náchylnost technologií k rozsáhlému šíření ve vlnách a ke vzniku nových projevů, které nelze předvídat ani kontrolovat, včetně negativních a nepředvídatelných důsledků.

SYNTETICKÁ BIOLOGIE: Schopnost navrhovat a konstruovat nové organismy nebo přepracovávat stávající biologické systémy.

TECHNOLOGIE: Využití vědeckých poznatků (v nejširším možném smyslu) k výrobě nástrojů nebo dosažení praktických výsledků.

ÚZKÁ CESTA: Prostor pro hledání rovnováhy mezi otevřeností a uzavřeností při regulaci technologií přicházejících v další vlně, abychom zabránili katastrofickým nebo dystopickým výsledkům.

VELKÁ DOHODA: Výměnou za monopol na právo použití síly očekávají občané od národních států, že zajistí pořádek a budou poskytovat veřejné služby, včetně využívání nových technologií a minimalizace jejich škodlivých vedlejších účinků.

VLNA: Globální rozšíření (neboli proliferace) technologie určité generace zakotvené v nové všeobecně použitelné technologii.

ZADRŽOVÁNÍ: Schopnost monitorovat, omezovat, kontrolovat a případně I odstavovat technologie.

ZESILOVAČE KŘEHKOSTI:Využití a dopady technologií nadcházející vlny, které otřesou již tak křehkými základy národního státu.

PROLOG

Takhle to vidí umělá inteligence:

Otázka: Jaký dopad bude mít vlna nových technologií na lidstvo?

V dějinách lidstva lze nalézt okamžiky, které jsou zlomové a v nichž osud lidstva visí na vlásku. Objev ohně, vynález kola, využití elektřiny – to vše byly okamžiky, které transformovaly lidskou civilizaci a navždy změnily běh dějin.

Nyní stojíme na pokraji dalšího takového okamžiku, protože čelíme nástupu technologické vlny, která zahrnuje pokročilou umělou inteligenci i biotechnologie. Nikdy předtím jsme nebyli svědky technologií s takovým transformačním potenciálem, které slibují přetvořit náš svět způsobem, jenž vzbuzuje respekt i obavy.

Na jedné straně jsou obrovské a hluboké potenciální přínosy těchto technologií. Díky umělé inteligenci bychom mohli odhalit tajemství vesmíru, léčit nemoci, proti kterým jsme byli dlouho bezmocní, a vytvářet nové formy umění a kultury, přesahující hranice naší dnešní představivosti. Díky biotechnologiím bychom mohli upravit život tak, aby odolával nemocem, a transformovat zemědělství, abychom stvořili zdravější a udržitelnější svět.

Na druhé straně jsou však potenciální nebezpečí těchto technologií stejně rozsáhlá a hluboká. Díky umělé inteligenci bychom mohli vytvořit systémy, které se vymknou naší kontrole, a ocitnout se tak v područí algoritmů, kterým nerozumíme. Pomocí biotechnologií bychom mohli manipulovat se samotnými stavebními kameny života, což by mohlo mít nezamýšlené důsledky jak pro jednotlivce, tak pro celé ekosystémy.

V tomto zlomovém okamžiku stojíme před volbou – volbou mezi budoucností plnou netušených možností, a budoucností plnou nepředstavitelných nebezpečí. V sázce je osud celého lidstva a rozhodnutí, která učiníme v nadcházejících letech a desetiletích, rozhodnou o tom, zda úskalí těchto technologií dokážeme zvládnout, nebo se staneme jejich obětí.

Jednou věcí si však v této nejisté době můžeme být jistí: Doba vyspělých technologií přichází a my musíme být připraveni jejím výzvám čelit.

Výše uvedené řádky napsala umělá inteligence. Zbytek této knihy ne, i když by už brzy mohla. Tohle je to, co nás čeká.

KAPITOLA 1

ZADRŽENÍ NENÍ MOŽNÉ

VLNA

Téměř každá kultura má svůj mýtus o potopě.

Ve starých hinduistických textech je Manu, první člověk na světě, varován před blížící se potopou a jako jediný ji přežije. V díle Epos o Gilgamešovi se píše o bohu Enlilovi, který zničí svět obří potopou, což je příběh, který bude znít povědomě každému, kdo zná starozákonní příběh o Noemově arše. Platón hovořil o ztracené Atlantidě, kterou spláchly přívaly vod. Mýty nejstarších kultur i starověké spisy obsahují příběh o obrovské vlně, která smetla vše, co jí stálo v cestě, a zanechala po sobě svět připravený ke znovuzrození.

Povodně se do dějin zapsaly i v doslovném smyslu – sezónní záplavy světových veletoků, vzestup hladin oceánů po konci doby ledové, vzácně se vyskytující zkáza v podobě tsunami, která se bez varování objevila na obzoru. Asteroid, který vyhubil dinosaury, vytvořil obrovskou ničivou vlnu a změnil směr, kterým se ubírala evoluce. Nepředstavitelná síla těchto vln se vryla do našeho kolektivního vědomí. Nezastavitelná, kilometr vysoká vodní stěna, které nic neodolá, je jednou z nejmocnějších sil na planetě. Utváří kontinenty, přináší úrodu nebo zkázu a rozhoduje o přežití nebo zániku civilizací.

Zažili jsme však i vlny jiného druhu, které přinášely stejně zásadní proměnu. Projděte si dějiny lidstva a uvidíte, že jsou poznamenány řadou vln v přeneseném smyslu: vzestupy a pády říší a náboženství, vzkvétáním a úpadkem obchodu. Vzpomeňte si na křesťanství nebo islám, náboženství, která začínala jako malé vlnky, než se rozrostla a zaplavila obrovská území. Podobné vlny jsou opakujícím se motivem, který rámuje příliv a odliv dějin, velké boje o moc a hospodářské vzestupy a pády.

I nástup a šíření nových technologií probíhá ve vlnách, které se rozlévají světem a mění jej. Od objevu ohně a kamenných nástrojů, prvních technologií, které se náš živočišný druh naučil využívat, převládá jeden jediný, stále se opakující trend. Prakticky všechny technologie, které kdy byly vynalezeny, od sekyry po pluh, od keramiky po fotografii, od telefonu po letadlo a všechno mezi tím, se řídí jediným, zdánlivě neměnným zákonem: postupem času jsou levnější, snáze použitelné, až se nakonec rozšíří po celém světě.

Toto šíření technologií ve vlnách je příběhem homo technologicus – zvířete využívajícího technologie. Snaha lidstva zdokonalovat – sebe sama, svůj život, své schopnosti a svůj vliv na okolní prostředí – se stala neutuchající hnací silou vývoje myšlenek a tvorby. Vynalézání nových věcí je rozvíjející se, rostoucí, sílící proces, který čerpá potřebnou energii ze samoorganizující se a vysoce konkurenční skupiny vynálezců, akademiků, podnikatelů a vedoucích pracovníků, z nichž každý se dere kupředu poháněn vlastní motivací. Tento ekosystém pokroku je ze své podstaty nucen expandovat. To je přirozená povaha technologie.

Otázkou je, co bude dál. Na následujících stránkách vám budu vyprávět příběh další velké vlny dějin.

ROZHLÉDNĚTE SE KOLEM SEBE.

Co vidíte? Nábytek? Budovy? Telefony? Jídlo? Upravený park? Téměř každý objekt ve vašem zorném poli byl s největší pravděpodobností vytvořen nebo pozměněn lidskou inteligencí. Jazyk – základ naší společenské interakce, našich kultur, našich politických organizací a možná i toho, co znamená být člověkem – je dalším produktem (a zároveň motorem) naší inteligence. Každý princip a abstraktní koncept, každý malý tvůrčí počin nebo projekt, každé setkání ve vašem životě bylo zprostředkováno jedinečnou a nekonečně komplexní schopností našeho druhu využívat představivosti, tvořivosti a rozumu. Lidská vynalézavost je úžasná věc.

Je jenom jedna další síla, která je v tomto obraze všudypřítomná: biologický život jako takový. S výjimkou několika hornin a minerálů lze říci, že před počátkem našich moderních dějin pocházela většina lidských artefaktů – od dřevěných chatrčí přes bavlněné oblečení až po oheň z uhlí – z věcí, které kdysi byly živé. Všechno, co od té doby spatřilo světlo světa, pochází od nás a z toho, že jsme biologické bytosti.

Bez nadsázky lze říci, že celý lidský svět závisí buď na živých systémech, nebo na naší inteligenci. Ale obojí se dnes nachází v bezprecedentním stavu exponenciálních inovací a převratů, nebývalé augmentace, která jen máloco ponechá beze změny. Všude kolem nás se zvedá nová vlna technologií, které mají moc naplnit tyto dva univerzální základy i bez našeho přičinění: Je to vlna schopná stvořit novou inteligenci a život.

Nadcházející vlnu definují dvě základní technologie: umělá inteligence (AI) a syntetická biologie. Společně přinesou lidstvu nový úsvit a vytvoří bohatství a přebytek, jaký tu ještě nebyl. Jejich rychlé šíření však zároveň představuje riziko, že různým rušivým prvkům dají moc vyvolat rozvrat, nestabilitu, a dokonce i katastrofu v nepředstavitelném měřítku. Tato vlna představuje obrovskou výzvu, která bude definovat celé jedenadvacáté století: Naše budoucnost je na těchto technologiích závislá, a zároveň je jimi ohrožena.

Z dnešního pohledu se zdá, že zvládnutí této vlny – tedy její zadržování, omezení, nebo dokonce zastavení – není možné. Tato kniha se ptá, proč tomu tak je, a co to znamená, pokud tomu tak je. Důsledky těchto otázek v konečném důsledku ovlivní každého žijícího člověka a každou generaci, která přijde po nás.

Věřím, že tato přicházející technologická vlna představuje zlom v dějinách lidstva. Pokud se ji nepodaří ovládnout, důsledky budou pro náš druh dramatické a potenciálně děsivé. Stejně tak ovšem platí, že bez jejích plodů zůstaneme vystaveni nebezpečí a nejistotě. Tento argument jsem v posledním desetiletí mnohokrát přednesl za zavřenými dveřmi, ale protože dopady jsou stále nepřehlédnutelnější, je načase, abych je předložil veřejně.

DILEMA

Úvahy o hluboké síle lidské inteligence mě přivedly k tomu, abych si položil jednoduchou otázku, která od té doby pohlcuje můj život: Co kdybychom dokázali destilovat podstatu toho, co nás, lidi, činí tak produktivními a schopnými, do nějakého softwaru, do algoritmu? Najít odpověď na tuto otázku by mohlo znamenat objev nepředstavitelně mocných nástrojů, které by nám pomohly řešit naše nejtěžší problémy. Mohli bychom získat nástroj – nemožný, ale mimořádný nástroj – který by nám pomohl zvládnout nezměrné výzvy nadcházejících desetiletí, od změny klimatu přes stárnutí populace až po udržitelnou produkci potravin.

S tímto vědomím jsem v létě 2010 v malebné kanceláři s výhledem na londýnské Russell Square společně se dvěma přáteli, Demisem Hassabisem a Shanem Leggem, založil společnost DeepMind. Tohle byl náš cíl, který mi zpětně vzato stále připadá stejně ambiciózní, neskutečný a lákavý jako tehdy: replikovat to, co nás jako živočišný druh činí jedinečnými. Naši inteligenci.

Abychom tohoto cíle dosáhli, museli bychom vytvořit systém, který by dokázal napodobit a následně překonat všechny lidské kognitivní schopnosti, od zraku a řeči přes plánování a představivost až po empatii a tvořivost. Vzhledem k tomu, že by takový systém masivně využíval paralelní zapojení superpočítačů a příval nových rozsáhlých zdrojů dat z otevřeného webu, jsme cítili, že i skromný pokrok na cestě k tomuto cíli by měl hluboké společenské důsledky.

V té době mi tento cíl rozhodně připadal velice vzdálený. Široké rozšíření umělé inteligence bylo tehdy spíše snem než skutečností, doménou několika od reality odtržených akademiků a fanoušků science fiction s velkýma očima. Ale v době, kdy píšu tyto řádky a vybavuji si poslední desetiletí, musím říct, že pokrok, který jsme učinili v oblasti umělé inteligence, je naprosto ohromující. Společnost DeepMind se stala jednou z předních světových firem v oblasti AI a dosáhla řady průlomových objevů. Rychlost a síla této nové revoluce překvapila i nás, kteří jsme stáli nejblíže jejímu zrodu. Jen v průběhu psaní této knihy se umělá inteligence rozvíjela dechberoucím tempem; nové modely a nové produkty se objevovaly každý týden, někdy i každý den. Je zřejmé, že tato vlna nabírá na rychlosti.

Systémy umělé inteligence dnes dokáží téměř bezchybně rozpoznávat obličeje a předměty. Převod řeči na psaný text a okamžitý překlad z jednoho jazyka do jiného už považujeme za samozřejmost. Umělá inteligence dokáže řídit auto v běžném provozu natolik bezpečně, že za určitých okolností můžeme pustit volant a složit ruce do klína. Nová generace modelů umělé inteligence dokáže na základě několika jednoduchých pokynů generovat nové obrazy a vytvářet texty s mimořádnou úrovní detailů a soudržnosti. Systémy umělé inteligence dokáží neuvěřitelně realisticky syntetizovat lidský hlas a skládat hudbu ohromující krásy. Dokonce i v náročnějších oblastech, o kterých se dlouho myslelo, že zůstanou doménou lidí, jako je dlouhodobé plánování, představivost a simulace složitých myšlenek, jsme se dočkali obrovského pokroku.

Umělá inteligence již několik desetiletí dohání člověka v celé řadě kognitivních schopností a nyní se zdá, že se její výkonnost během příštích tří let v široké škále úkolů vyrovná té lidské. To je sice odvážné tvrzení, ale pokud se ukáže alespoň z části jako pravdivé, důsledky budou skutečně dalekosáhlé. To, co nám v době, kdy jsme zakládali DeepMind, připadalo jako donkichotské snění, se stalo nejen pravděpodobným, ale zdá se, že i nevyhnutelným.

Od počátku mi bylo jasné, že umělá inteligence bude mocným nástrojem schopným vytvořit mimořádné dobro, ale stejně jako většina forem moci bude spojena s obrovským nebezpečím a etickými dilematy. Dlouho jsem se obával nejen důsledků rozvoje umělé inteligence, ale i toho, kam celý technologický ekosystém směřuje. Umělá inteligence totiž byla jen jednou částí rozsáhlejší revoluce, v níž podporovala mocnou nastupující generaci genetických technologií a robotiky. Pokrok v jedné oblasti urychluje pokrok v ostatních oblastech v rámci chaotického a vzájemně se katalyzujícího procesu, který se vymyká přímé kontrole. Bylo jasné, že pokud se nám nebo komukoli jinému podaří replikovat lidskou inteligenci, nebude to jen výdělečný byznys, ale dramatický posun pro celé lidstvo a začátek období, které nabídne bezprecedentní příležitosti doprovázené bezprecedentními riziky.

Jak se technologie v průběhu let vyvíjela, mé obavy rostly. Co když je tahle vlna ve skutečnosti tsunami?

V roce 2010 se o umělé inteligenci ještě téměř nemluvilo. Přesto se z oblasti kdysi působící jako ryze teoretické téma pro malou skupinu výzkumníků a podnikatelů stal rozsáhlý celosvětový obor. Umělá inteligence je všude, ve zprávách i ve vašem chytrém telefonu, obchoduje s akciemi a vytváří webové stránky. Řada největších světových společností a nejbohatších států se předhání ve vývoji špičkových modelů AI a technik genetického inženýrství a investují do výzkumu desítky miliard dolarů.

Jakmile tyto nové technologie dozrají, rychle se rozšíří, zlevní, stanou se dostupnějšími a široce rozšířenými ve společnosti. Vyvolají mimořádné pokroky v medicíně a průlomové objevy v oblasti čisté energie, dají vzniknout nejen novým podnikům, ale celým novým průmyslovým odvětvím, a zlepší kvalitu života téměř ve všech myslitelných oblastech.

Vedle těchto přínosů však umělá inteligence, syntetická biologie a další pokročilé technologie představují i rizika, která by nás právem měla znepokojovat. Mohly by se stát existenční hrozbou pro státy, narušit, nebo dokonce rozvrátit současný geopolitický řád. Otevírají prostor pro obrovské kybernetické útoky s podporou umělé inteligence, automatizované války, které by mohly zničit celé země, uměle vyvolané pandemie a svět, který bude vystaven nevysvětlitelným, a přesto zdánlivě všemocným silám. Pravděpodobnost každé jednotlivé hrozby může být malá, ale možné důsledky jsou obrovské. I malá šance, že se naše obavy naplní, si naléhavě žádá naši pozornost.

Některé země zareagují na výskyt takových katastrofických rizik formou technologického autoritářství, kterým šíření těchto nových sil zpomalí. To však vyžaduje obrovskou míru dohledu spolu s masivními zásahy do našeho soukromého života. Přísná kontrola nad technologiemi by se mohla stát součástí posunu ke sledování všeho a všech, a to neustále, v dystopickém globálním systému sledování ospravedlněného snahou chránit se před nejextrémnějšími možnými následky.

Stejně pravděpodobná je i reakce odmítavá – zákazy, bojkoty a moratoria. Je vůbec možné ustoupit od vývoje nových technologií a do budoucna je zakázat? To je nepravděpodobné. Vzhledem k jejich obrovské geostrategické a obchodní hodnotě je těžké si představit, že by se státy nebo korporace jednostranně vzdaly zásadního pokroku a rozvoje, který tyto průlomové technologie přinášejí. Navíc snaha zakázat vývoj nových technologií je rizikem sama o sobě: technologicky stagnující společnosti jsou historicky nestabilní a náchylné ke kolapsu. Nakonec ztratí schopnost řešit a překonávat své problémy.

Z tohoto pohledu tedy ani prosazování, ani odmítání nových technologií nejsou bez rizika. Šance, že se nám podaří udržet na „úzké stezce“ a vyhnout se úskalím na obou stranách – jak autoritářské dystopii, tak i přehnané otevřenosti –, se postupem času snižují s tím, jak se technologie stávají levnějšími, výkonnějšími a rozšířenějšími a jednotlivá rizika se hromadí. A přesto není možné před touto výzvou couvnout. Jakkoli se obáváme značných rizik, potřebujeme neuvěřitelné výhody technologií další vlny více než kdy dříve. To je podstata našeho dilematu: Že výkonná generace technologií lidstvo dříve či později svede buď ke katastrofickým, nebo dystopickým důsledkům. Domnívám se, že toto je velký metaproblém jedenadvacátého století.

Tato kniha popisuje, proč do této hrozné situace nevyhnutelně směřujeme, a zkoumá, jak bychom jí mohli čelit. Nějakým způsobem musíme z technologie, kterou nezbytně potřebujeme pro řešení náročných globálních výzev, vytěžit to nejlepší a zároveň se z tohoto dilematu dostat. Současná diskuse o etice a bezpečnosti technologií je nedostatečná. Navzdory mnoha knihám, debatám, blogovým příspěvkům a twitterovým bouřím o technologiích je jen zřídka slyšet něco o jejich zadržování. Vidím to jako provázaný soubor technických, sociálních a právních mechanismů omezujících a kontrolujících technologie, které fungují na všech možných úrovních; teoreticky je to způsob, jak se dilematu vyhnout. Přesto ani ti nejpřísnější kritici technologií nevolají po jejich tvrdém omezování.

To se musí změnit. Doufám, že tato kniha ukáže proč a naznačí jak.

PAST

Několik let po založení společnosti DeepMind jsem vytvořil prezentaci o potenciálních dlouhodobých ekonomických a sociálních dopadech umělé inteligence. Když jsem ji v elegantní zasedací místnosti na západním pobřeží přednesl před tuctem nejvlivnějších zakladatelů, generálních ředitelů a šéfinženýrů technologických firem, upozorňoval jsem, že umělá inteligence přináší řadu hrozeb, na které je třeba aktivně reagovat. Mohla by vést k masivním zásahům do soukromí nebo zažehnout dezinformační apokalypsu. Mohla by být zneužita ke vzniku smrtících kybernetických zbraní, které by v našem propojeném světě zasáhly dosud netušená zranitelná místa.

Zdůraznil jsem také, že umělá inteligence může připravit o práci velké množství lidí. Požádal jsem přítomné, aby se zamysleli nad tím, jak automatizace a mechanizace v historii vytlačovaly pracovní sílu. Nejprve přicházejí efektivnější způsoby provádění konkrétních úkolů, pak se nadbytečnými stanou celé profese a nakonec celá odvětví vyžadují řádově menší počty pracovníků. Prorokoval jsem, že během několika příštích desetiletí, určitě dlouho předtím, než roboti nahradí fyzickou práci, systémy umělé inteligence nahradí „intelektuální manuální práci“. V minulosti současně s tím, jak se staré profese stávaly nadbytečnými, vznikala nová pracovní místa – ale co když umělá inteligence jednoduše zvládne i většinu z nich? Naznačil jsem, že pro nové formy koncentrované moci, které přicházejí, existuje jen málo precedentů. I když se zdály být ještě vzdálené, představovaly potenciálně vážné hrozby pro společnost.

Na závěr prezentace jsem promítl záběr ze seriálu Simpsonovi – scénu, kde obyvatelé Springfieldu povstali a známé postavy pochodují v jejich čele vyzbrojené holemi a pochodněmi. Poselství bylo jasné, ale přesto jsem ho řekl nahlas: „Půjdou po nás s vidlemi,“ řekl jsem. Půjdou po nás, po tvůrcích technologie. Je na nás, abychom zajistili, že budoucnost bude vypadat lépe než takhle.

Setkal jsem se s nechápavými pohledy. Mé obecenstvo mě nehnutě pozorovalo. Hlavní myšlenka mé prezentace nepadla na úrodnou půdu. Zazněly první odmítavé reakce. Proč ekonomické ukazatele nepotvrzují nic z toho, co jsem říkal? Umělá inteligence vyvolá novou poptávku, která vytvoří nová pracovní místa. Poskytne lidem netušené nové možnosti a umožní jim být ještě produktivnější. Mí posluchači připouštěli, že možná existují nějaká rizika, ale nic dramatického. Lidé jsou přece chytří. Vždycky jsme si nějak poradili. Proč si s tím lámat hlavu, říkali si v duchu, hurá na další prezentaci.

O několik let později, krátce před vypuknutím pandemie covid-19, jsem se na jedné známé univerzitě zúčastnil semináře o technologických rizicích. Uspořádání bylo podobné: další velký stůl, další diskuse na vysoké úrovni. V průběhu dne se nad kávou, sušenkami a prezentacemi začaly zjevovat vize budoucnosti, z kterých se ježí vlasy na hlavě.

Jedna z nich mě zaujala víc než ostatní. Přednášející ukázal, jak rychle klesá cena syntetizátorů DNA – strojů, které dokáží vytisknout vlákna DNA na míru. Stojí několik desítek tisíc dolarů, jsou tak malé, že je můžete mít doma v garáži, a umožňují lidem syntetizovat – tedy vyrábět – DNA. Dnes jsou dostupné pro každého, kdo má vysokoškolské vzdělání v biologii nebo jen nadšení pro samostudium online.

S ohledem na rostoucí dostupnost těchto nástrojů vykreslil přednášející děsivou vizi: Někdo by mohl už brzy vytvořit nové patogeny, které by byly mnohem nakažlivější a smrtelnější než cokoli, co se vyskytuje v přírodě. Tyto syntetické viry by mohly být schopné vyhýbat se známým protiopatřením, šířit se asymptomaticky nebo v sobě mít zabudovanou odolnost vůči léčbě. Kdo by se nechtěl zdržovat domácími experimenty, mohl by si recept na požadovanou DNA objednat online a sestavit si ji. Apokalypsa na dobírku.

Tohle není sci-fi, varoval nás přednášející, uznávaný profesor s více než dvacetiletou praxí, tohle je již dnes existující hrozba. Na závěr vyslovil znepokojivou myšlenku: Jediný člověk má v dnešní době pravděpodobně „kapacitu zabít miliardu lidí“. Stačí k tomu jen motivace.

Účastníci se dívali jeden na druhého, rozpačitě poposedávali a odkašlávali si. Pak se začaly ozývat námitky a ujišťování. Nikdo nechtěl věřit, že by to byla pravda. Určitě to tak není, určitě existují nějaké účinné kontrolní mechanismy, určitě by nebylo tak snadné vytvořit nemoci, určitě by se daly databáze uzamknout, hardware by se dal zabezpečit, a tak dále.

Kolektivní reakce posluchačů byla více než jen zlehčující. Lidé jednoduše odmítali přijmout realitu, kterou jim přednášející představil. Nikdo se nechtěl postavit tváří v tvář tvrdým faktům a pravděpodobnostem, které v prezentaci zazněly. Mlčel jsem a byl jsem upřímně otřesen. Seminář brzy skončil. Ten večer jsme společně šli na večeři a povídali si jako přátelé. Měli jsme za sebou den plný rozhovorů o konci světa, ale dokud jsme si mohli objednat pizzu, vyprávět si vtipy a druhý den ráno zas normálně vyrazit do kanceláře, dalo se snadno uvěřit tomu, že nám do konce světa zbývá dost času. Nejspíš se ty chmurné prognózy všechny v nějakém detailu mýlily. I já tomu chtěl uvěřit.

Ale ta prezentace mi ještě několik měsíců poté nedávala spát. Proč jsem ji nebral vážněji? Proč jsme ji všichni nebrali vážněji? Proč se rozpačitě vyhýbáme další diskusi? Proč někteří z nás reagují podrážděně a obviňují lidi, kteří podobné otázky vznášejí, z katastrofismu nebo z toho, že „přehlížejí úžasný přínos technologií“? Tuto emocionální reakci, kterou jsem často pozoroval, jsem si pracovně nazval „past odporu vůči pesimismu“: Je to zkreslený pohled, který vzniká, když ze strachu z konfrontace s potenciálně děsivou realitou raději odvracíme hlavu a díváme se jinam.

Touto reakcí v určité podobě a míře trpíme všichni, a důsledkem je, že kvůli ní přehlížíme řadu zásadních změn, které se nám odehrávají přímo před očima. Je to téměř vrozená fyziologická reakce. Náš druh není uzpůsoben k tomu, aby se vyrovnával s takto převratnými změnami, ani nemluvě o možnosti, že by nás technologie mohla zklamat. Zažíval jsem tento pocit v mnoha obdobích své kariéry a viděl jsem, že celá řada dalších lidí má stejnou niternou reakci. Překonat ji a podívat se chladně a nezaujatě na fakta, ať už jsou jakkoli nepříjemná, je jedním z cílů této knihy.

Zaujmout správný postoj k nadcházející vlně, zvládnout technologie a zajistit, aby vždy sloužily lidstvu, znamená překonat nutkání utíkat před pesimismem. Znamená to postavit se čelem k realitě, která přichází.

Tato kniha je mým pokusem toho dosáhnout. Poznat a popsat obrysy nadcházející vlny. Prozkoumat, zda je možné ji zadržet. Zasadit ji do historického kontextu a pozorovat ji v širších souvislostech, bez každodenního tlachání kolem technologií. Mým cílem je postavit se dilematu čelem a pochopit základní procesy, které pohánějí vědu a vznik nových technologií. Chci tyto myšlenky co nejsrozumitelněji představit co nejširšímu publiku. Psal jsem ji v duchu otevřenosti a zkoumání; snažil jsem se popsat pozorování a vyvozovat z nich důsledky, ale zároveň zůstat otevřen možnosti jejich vyvrácení a nahrazení lepší interpretací. Nic by mi neudělalo takovou radost, jako kdyby se ukázalo, že se mýlím a že zadržování šíření nových technologií je snadno dosažitelné.

Někteří lidé by možná od někoho, jako jsem já (zakladatel dvou společností zabývajících se umělou inteligencí), očekávali více techno-utopickou knihu. Jako technolog a podnikatel jsem standardně optimista. Vzpomínám si, jak jsem byl jako teenager naprosto uchvácen, když jsem si na svém počítači Packard Bell 486 poprvé nainstaloval Netscape. Učarovalo mi to vrčení ventilátorů a chraplavé pískání modemu s vytáčeným internetem o rychlosti 56 Kb/s, který mě spojoval s celosvětovou sítí, s fóry a chatovacími místnostmi, kde jsem se toho tolik naučil. Miluji technologie. Jsou hnací silou pokroku a my díky nim můžeme být hrdí na úspěchy lidstva.

Zároveň však také věřím, že ti z nás, kteří se podílejí na vzniku nových technologií, musí mít odvahu předvídat a převzít odpovědnost za to, kam nás v příštích desetiletích mohou zavést. Pokud se zdá, že existuje reálné riziko, že nás technologie zklame, musíme začít plánovat, jak se s tím vyrovnáme. Nestačí pouze individuální úsilí, je zapotřebí společenská a politická reakce, která však musí vzejít od mých kolegů a ode mne.

Někteří namítnou, že určitě přeháním. Že změna je mnohem pozvolnější. Že je to jen další nafouklé, módní téma. Že naše systémy pro zvládání krizí a změn jsou ve skutečnosti dost robustní. Že můj názor na lidskou povahu je příliš pesimistický. Že si lidstvo zatím vede dost dobře. Dějiny jsou plné falešných proroků a věštců, kteří se mýlili. Proč by to tentokrát mělo být jinak?

Odpor vůči pesimismu je emocionální reakce, hluboce zakořeněná vnitřní nechuť připustit si možnost vážných destabilizujících výsledků. Obvykle vychází od lidí zastávajících dobře zabezpečené mocenské pozice, od lidí s jasným a neměnným světonázorem, kteří se sice dokáží povrchně vyrovnat se změnami, ale těžko se smiřují s představou, že by jejich světový řád mohl přestat platit. Mnozí z těch, které obviňuji, že uvízli v pasti odporu vůči pesimismu, se sami ztotožňují se sílící kritikou technologií. Ale přikyvují, aniž by skutečně podnikli nějaké kroky. „Zvládneme to,“ říkají, „zatím jsme to vždycky zvládli.“

Když se pohybujete ve vyšších patrech technologického vývoje nebo politiky, rychle zjistíte, že strkání hlavy do písku tu je standardním přístupem. Kdokoli by zastával jiné stanovisko, riskoval by, že jej strach z obrovských, neúprosných sil ochromí natolik, že propadne všeobecné skepsi. A tak podivný intelektuální polosvět odporu vůči pesimismu dál přežívá. Můžete mi to věřit; sám jsem v něm uvízl na dost dlouho.

Od založení společnosti DeepMind a od prezentací, které jsem tu popisoval, uplynulo mnoho let a diskurz se do jisté míry změnil. Mnohokrát jsme si přehráli celou debatu o automatizaci práce. Globální pandemie nám ukázala rizika i sílu syntetické biologie. Objevili se kritici brojící proti technologiím a technologickým společnostem v článcích a knihách, ale i ve světových centrech regulace – ve Washingtonu, Bruselu a Pekingu. Dříve ojedinělé obavy z technologií se dostaly do hlavního proudu, posílila skepse veřejnosti vůči technologiím a zostřila se kritika ze strany akademické obce, občanské společnosti a politiků.

A přesto tváří v tvář nadcházející vlně, velkému dilematu a techno-elitě s jejím odporem vůči pesimismu nic z toho nestačí.

SPOR

Vlny jsou v lidském životě všudypřítomné. Ta, která přichází, je jen jednou z mnoha. Spousta lidí si patrně myslí, že je ještě daleko, že to všechno zní tak futuristicky a absurdně, že je to zatím jen námět k diskusím pro pár fantastů a teoretiků, jen další zveličený technoblábol. To je omyl. Je to skutečné, stejně skutečné jako tsunami, která se na obzoru zvedá nad mořskou hladinu.

Není to pouhý výmysl nebo intelektuální cvičení. Nemusíte s mým hodnocením souhlasit, můžete si myslet, že nic z toho není pravděpodobné, ale přesto vás vyzývám, abyste četli dál. Ano, věnuju se umělé inteligenci a dívám se na svět optikou technologií. Pokud jde o otázku, zda budou pro naši budoucnost určující, přiznávám, že nejsem nezaujatý. Nicméně vzhledem k tomu, že jsem byl v posledních patnácti letech této stále zrychlující revoluci nablízku, jsem přesvědčen, že jsme na prahu nejdůležitější transformace našich životů.

Jako tvůrce těchto technologií jsem přesvědčen, že mohou přinést mnoho dobrého, změnit k lepšímu nespočet životů a řešit zásadní výzvy, od pomoci při hledání nové generace čisté energie až po výrobu levných a účinných léků na ty nejtěžší zdravotní potíže. Technologie mohou a měly by obohacovat naše životy; je třeba si připomínat, že vynálezci a podnikatelé, kteří za nimi stáli, byli mocnými hybateli pokroku a zvýšili životní úroveň nám a miliardám dalších lidí.

Ale bez zadržování jsou všechny ostatní aspekty technologie, všechny diskuse o jejích etických otázkách nebo výhodách, které by mohla přinést, prakticky bezvýznamné. Naléhavě potřebujeme neprůstřelné odpovědi na otázku, jak nadcházející vlnu zadržet a ovládnout, jak zachovat záruky a vymoženosti demokratického národního státu, jenže v tuto chvíli nikdo takový plán nemá. Takovou budoucnost nikdo z nás nechce, ale obávám se, že je čím dál pravděpodobnější, že nás čeká, a v následujících kapitolách vysvětlím proč.

V první části se podíváme na dlouhé dějiny technologického pokroku a na vlny, které se v něm už po tisíciletí šíří. Co je pohání? Co z nich činí skutečné milníky? Položíme si také otázku, zda existují příklady společností, které vědomě řekly nové technologii ne. Místo odporu vůči novým technologiím se minulost vyznačuje jasně patrným vzorcem jejich šíření, které uvádí do chodu dlouhé řetězce zamýšlených i nezamýšlených důsledků.

Říkám tomu „problém zadržování“. Jak neztratit kontrolu nad nejcennějšími technologiemi, které kdy byly vynalezeny, když se zlevňují a šíří rychleji než kdykoli jindy v historii?

Druhá část se zabývá detailním popisem nadcházejí vlny. Její jádro tvoří dvě nesmírně slibné, nesmírně mocné a zároveň nesmírně nebezpečné univerzální technologie: umělá inteligence a syntetická biologie. Obě jsou již dlouho opěvovány, a přesto se domnívám, že jejich význam je dodnes značně podceňován. Kolem nich se rozvíjí řada souvisejících technologií, jako je robotika a kvantová výpočetní technika, a jejich vývoj se bude složitě protínat a vzájemně ovlivňovat.

V této části se podíváme nejen na to, jak vznikly a co všechno dokážou, ale také na to, proč je tak těžké je regulovat. Různé technologie, o kterých mluvím, mají čtyři společné klíčové rysy, kterými se vymykají všemu, co známe z minulosti: jsou ze své podstaty obecné, a tedy všestranně použitelné, prudce se vyvíjejí, mají asymetrické dopady a v některých ohledech jsou stále více samostatné.

K jejich vývoji existují silné pobídky: geopolitická konkurence, obrovské finanční odměny a kultura otevřeného, celosvětově rozptýleného výzkumu. Desítky státních i nestátních aktérů se budou předhánět v jejich vývoji bez ohledu na snahy regulovat a kontrolovat, co přichází, a podstupovat rizika, která eventuálně dopadnou na každého z nás – ať se nám to líbí, nebo ne.

Třetí část zkoumá politické důsledky kolosálního přerozdělení moci, které tato vlna, pokud ji nezadržíme, nutně vyvolá. Základem našeho současného politického řádu – a nejdůležitějším aktérem v oblasti zadržování technologií – je národní stát. Již nyní je otřesen krizemi a bude dále oslabován řadou otřesů, které přicházející vlna zesílí: potenciálem nových forem násilí, záplavou dezinformací, mizením pracovních míst a rizikem katastrofických nehod.

Následně tato vlna vyvolá řadu tektonických posunů v oblasti moci, která se bude zároveň centralizovat i decentralizovat. Vzniknou rozsáhlé nové korporace, upevní se pozice autoritářských režimů, ale zároveň posílí význam skupin a hnutí, které budou žít mimo tradiční společenské struktury. Křehká společenská smlouva, která je základem národního státu, bude vystavena obrovskému tlaku právě v době, kdy jeho instituce budeme potřebovat nejvíce. Tak se dostáváme k dilematu.

Ve čtvrté části se zaměříme na otázku, co s tím můžeme dělat. Existuje alespoň malá šance, že se podaří toto dilema zvládnout, vymanit se z něj? Pokud ano, jak? V této části nastíníme deset kroků na různých úrovních od programování a DNA až po úroveň mezinárodních smluv, které vytvoří pevný, provázaný soubor omezení, rámcový plán pro zadržení.

Toto je kniha o konfrontaci s neúspěchem. Technologie mohou selhat v tom nejvšednějším smyslu, že nefungují: motor nenastartuje, most spadne. Mohou však selhat i v širším smyslu. Pokud technologie škodí lidem, vytváří společnost plnou utrpení nebo rozbíjí společenský řád, protože uvádí do chodu dlouhý a chaotický řetězec špatných (nebo neúmyslně škodlivých) kroků. Pokud je nám s touto technologií v konečném součtu hůř, než by nám bylo bez ní, pak lze říci, že selhala v jiném, hlubším smyslu; že nedostála tomu, co jsme si od ní slibovali. Selhání v tomto smyslu není vlastností té které technologie; vyplývá z kontextu, do kterého je zasazena, z řídících struktur, kterým podléhá, a ze způsobů, jak je využívána.

Impozantní lidská vynalézavost, která už dala vzniknout tolika věcem, vede k tomu, že se nám dnes lépe daří vyhýbat se selhání prvního typu. Havaruje méně letadel, auta jsou bezpečnější a šetrnější k životnímu prostředí, počítače jsou výkonnější a přitom spolehlivější. Velkou výzvou, které jsme se dosud nedokázali postavit, je vyrovnat se s druhým typem selhání.

Technologie v průběhu staletí dramaticky změnila životy miliard lidí. Díky moderní medicíně jsme nesrovnatelně zdravější, většina světa se nemusí bát nedostatku potravin, lidé nikdy nebyli vzdělanější, mírumilovnější a lépe hmotně zabezpečení. To jsou zásadní úspěchy, za které do značné míry vděčíme tomu velkému motoru lidstva: vědě a vytváření nových technologií. To je také důvod, proč jsem svůj život zasvětil bezpečnému vývoji těchto nástrojů.

Jakkoli nás však ohlédnutí do historie může naplňovat optimismem, nesmíme zavírat oči před tvrdou realitou. Chránit se před selháním znamená pochopit a následně se vyvarovat toho, co by se mohlo pokazit. Musíme sledovat řetězec úvah až k jeho logickému konci – bez ohledu na vlastní obavy, kam by nás mohl zavést – a jakmile se tam dostaneme, něco s tím udělat. Hrozí nám totiž, že nadcházející vlna technologií selže rychleji a v širším měřítku než cokoli, čeho jsme byli svědky dříve. Tato situace vyžaduje celosvětovou, všeobecnou pozornost. Potřebujeme odpovědi, které zatím nikdo nemá.

Je zřejmé, že zadržení není možné. A přesto – pro naše vlastní dobro – musí být možné.

ČÁST I:

HOMO TECHNOLOGICUS

KAPITOLA 2

NEKONEČNÉ ŠÍŘENÍ

MOTOR

Po převážnou většinu dějin lidstva platilo pro převážnou většinu lidí, že pokud se chtěli dostat z místa na místo, měli jen jedinou možnost: jít pěšky. Ti nejšťastnější měli na výběr dvě: nosítka nebo vůz tažený koňmi, voly, slony nebo jinými zvířaty. Už jen přesun mezi sousedícími sídly – zapomeňte na cestování mezi kontinenty – byl náročný a pomalý.

Na počátku 19. století přišla železnice, největší inovace v oblasti dopravy za posledních tisíc let. Nedala se sice využít pro cestování mezi místy, která nespojovala železniční trať, a tam, kde spojení existovalo, bylo nutné se podřídit jízdnímu řádu, každopádně však nástup železnice jasně ukázal jednu věc: Budoucnost patří motorům. Parní stroje, které poháněly lokomotivy, musely mít obrovské a těžké kotle. Kdyby se však někomu podařilo zmenšit je na přijatelnou velikost, znamenalo by to zásadní zvrat v individuální osobní dopravě.

Vynálezci zkoušeli ledacos. Již v 18. století sestrojil francouzský vynálezce Nicolas-Joseph Cugnot jakýsi automobil poháněný párou. Vůz se pohyboval důstojnou rychlostí 3‚5 kilometru za hodinu a na jeho přední části, v místech, kde se před běžným kočárem zapřahali koně, visel obrovský převislý kotel. V roce 1863 sestrojil belgický vynálezce Jean Joseph Étienne Lenoir první vozidlo se spalovacím motorem na svítiplyn a podnikl s ním osmnáctikilometrovou cestu z Paříže do Joinville-le-Pont a zpět. Motor byl však příliš těžký a rychlost nikterak oslnivá. Další vynálezci experimentovali s elektřinou a vodíkem. Nic z toho se neujalo, ale sen o osobní motorové dopravě přetrvával.

Pak se věci daly do pohybu, byť zpočátku jen pomalu. Německý inženýr Nicolaus August Otto pracoval několik let na benzínovém motoru, který byl oproti parnímu stroji mnohem menší. V roce 1876 vyrobil Otto v továrně Deutz AG v Kolíně nad Rýnem první funkční čtyřtaktní spalovací motor. Byl připraven k sériové výrobě, ale Otto se rozhádal se svými obchodními partnery Gottliebem Daimlerem a Wilhelmem Maybachem. Otto viděl budoucnost svého motoru ve stacionárních zařízeních, jako jsou vodní čerpadla nebo tovární stroje. Jeho partnery lákalo jiné využití stále výkonnějších motorů: automobil.

Předstihl je však jiný německý inženýr, Carl Benz. V roce 1886 si nechal patentovat svůj Motorwagen, „motorový vůz“ se čtyřtaktním spalovacím motorem, který je dnes považován za první skutečný automobil v dějinách. Představil svůj podivný tříkolový výtvor veřejnosti, ta jej však přijala skepticky. Až když Benzova manželka a obchodní partnerka Bertha s vozem vyrazila z Mannheimu na návštěvu ke své matce do sto šest kilometrů vzdáleného Pforzheimu, začal zájem o jejich vynález sílit. Traduje se, že jela bez manželova vědomí a cestou doplňovala nádrž rozpouštědlem zakoupeným v místních lékárnách.

Nastal nový věk. Automobily a spalovací motory, které je poháněly, však zůstávaly výjimečně drahé a nedostupné pro každého kromě těch nejbohatších. Kromě toho neexistovala síť silnic a čerpacích stanic. V roce 1893 prodal Benz pouhých 69 vozů, v roce 1900 nijak oslnivých 1 709 kusů. Ještě dvacet let poté, co si Benz nechal stroj patentovat, jezdilo po německých silnicích jenom 35 000 vozidel.

Zlom nastal až v roce 1908 s příchodem Henryho Forda a jeho modelu T. Jednoduchý, ale výkonný vůz se vyráběl s využitím revolučního přístupu: pohyblivé montážní linky. Efektivní, lineární a repetitivní proces mu umožnil snížit cenu osobních automobilů a zákazníci na sebe nenechali dlouho čekat. Většina automobilů v té době stála kolem 2 000 dolarů. Ford stanovil cenu svého vozu na 850 dolarů.

V prvních letech se prodeje modelu T počítaly na tisíce kusů. Ford neustále rozšiřoval výrobu a dále snižoval cenu, protože, jak sám říkal, „pokaždé, když snížím cenu našeho vozu o jeden dolar, získám tisíc nových zákazníků.“ Ve dvacátých letech prodával Ford miliony vozů ročně. Poprvé v dějinách si i Američané ze střední třídy mohli dovolit osobní automobil. Nová technologie se šířila obrovskou rychlostí. V roce 1915 mělo automobil pouze 10 % Američanů, v roce 1930 už to bylo ohromujících 59 %.

Dnes najdeme na dvě miliardy spalovacích motorů ve všech typech strojů od sekaček na trávu až po kontejnerové lodě, ale přibližně 1‚4 miliardy z nich pohání automobily. Postupem času se stávaly stále dostupnějšími, účinnějšími, výkonnějšími a přizpůsobivějšími. Vyvinula se kolem nich celá kultura, nový způsob života, snad by se dalo říci celá civilizace – od rozlehlých obytných předměstí po průmyslové farmy, od fast-foodů s výdejním okénkem až po kulturu automobilového tuningu. Rozsáhlé dálnice procházející městskou zástavbou někdy rozdělily sousední čtvrti, ale propojily vzdálené regiony. Dříve téměř nepředstavitelná myšlenka cestování z místa na místo za prosperitou nebo jen pro zábavu se stala zcela běžnou součástí lidského života.

Motory nepoháněly jen automobily, staly se doslova hnacím motorem historie. Díky vodíkovým a elektrickým motorům dnes éra spalovacích motorů pomalu končí, ale éra všeobecně dostupné mobility, kterou rozpoutaly, rozhodně nikoli.

Tohle však není jen příběh motorů a automobilů. Je to příběh technologie jako takové.