Читать книгу 21 lekcji na XXI wiek - Yuval Noah Harari - Страница 7

Big data patrzą

Opowieść liberalna czci ludzką wolność jako najwyższą wartość. Przekonuje, że wszelka władza ostatecznie wywodzi się z wolnej woli poszczególnych ludzi i znajduje swój wyraz w ich odczuciach, pragnieniach oraz wyborach. W sferze polityki liberalizm zakłada, że wyborca wie najlepiej. Dlatego stoi na straży demokratycznych wyborów. W sferze gospodarki utrzymuje, że klient ma zawsze rację. Dlatego jest orędownikiem zasad wolnego rynku. W kwestiach osobistych zachęca ludzi, by słuchali samych siebie, byli wierni sobie i szli za głosem serca – jeśli tylko nie naruszają wolności innych. Te wolności obywatelskie są zapisane w prawach człowieka.

Słowa „liberalny” używa się czasami w znacznie węższym, tendencyjnym znaczeniu, jako przeciwieństwo słowa „konserwatywny”. Jednak wielu tak zwanych konserwatystów również wyznaje liberalizm. Proponuję przeprowadzić prosty test na samym sobie. Czy sądzisz, że ludzie powinni sami wybierać sobie rządzących, a nie okazywać ślepe posłuszeństwo królowi? Czy sądzisz, że ludzie powinni móc wybierać własny zawód, a nie żyć w ograniczeniach narzuconych przez kastę, w której się urodzili? Czy sądzisz, że ludzie powinni sami wybierać sobie żonę lub męża, a nie musieć wiązać się z tym, kogo wybrali dla nich rodzice? Jeśli odpowiedziałeś „tak” na wszystkie trzy pytania, w takim razie gratuluję: jesteś liberałem.

Szczególnie warto pamiętać o tym, że tacy konserwatywni bohaterowie, jak Ronald Reagan i Margaret Thatcher byli wielkimi orędownikami nie tylko wolności gospodarczej, lecz również wolności osobistych. W słynnym wywiadzie udzielonym w 1987 roku brytyjska premier powiedziała: „Nie ma czegoś takiego jak społeczeństwo. Jest żywa różnorodność mężczyzn i kobiet, i piękno powstałego w ten sposób splotu oraz jakość naszego życia zależeć będą od tego, jak każdy z nas przygotowany jest do odpowiedzialności za siebie”44.

Spadkobiercy pani Thatcher w Partii Konserwatywnej w pełni zgadzają się z Partią Pracy co do tego, że władza polityczna pochodzi z odczuć, wyborów i wolnej woli poszczególnych wyborców. Dlatego gdy Wielka Brytania musiała zdecydować, czy ma opuścić Unię Europejską, premier David Cameron o rozstrzygnięcie tej kwestii nie prosił królowej Elżbiety II, arcybiskupa Canterbury ani profesorów z Oksfordu i Cambridge. Nie pytał nawet o zdanie deputowanych. Zamiast tego przeprowadził referendum, w którym każdego bez wyjątku Brytyjczyka zapytano: „Jakie są twoje o d c z u c i a na ten temat?”.

Ktoś może zaprotestować, mówiąc, że w referendum pytano: „Co o tym sądzisz?”, a nie „Jakie są twoje odczucia?” – jest to jednak powszechne błędne wyobrażenie. W referendach i wyborach zawsze chodzi o ludzkie o d c z u c i a, a nie o racjonalność. Gdyby demokracja była kwestią racjonalnego podejmowania decyzji, nie byłoby najmniejszego powodu, by wszystkim dawać równe prawa wyborcze – a być może nawet, by wszystkim dawać w ogóle jakiekolwiek prawa wyborcze. Mamy aż nazbyt wiele dowodów, że niektórzy ludzie są znacznie mądrzejsi i bardziej racjonalni od innych – z pewnością w zakresie konkretnych kwestii ekonomicznych i politycznych45. Po głosowaniu w sprawie brexitu wybitny biolog Richard Dawkins przekonywał, że ogromnej większości brytyjskiego społeczeństwa – w tym także jego samego – nie powinno się było prosić o głosowanie w tym referendum, ponieważ brakuje jej koniecznego wykształcenia z dziedziny ekonomii i nauk politycznych. „Równie dobrze można by ogłosić ogólnokrajowy plebiscyt, by rozstrzygnąć kwestię, czy Einstein ułożył swoje równania poprawnie z punktu widzenia algebry, albo pozwolić pasażerom głosować, na którym pasie powinien lądować pilot”46 – argumentował.

Czy to dobrze, czy źle, wybory i referenda bynajmniej nie dotyczą tego, co na jakiś temat sądzimy. Dotyczą tego, co czujemy. A gdy rzecz dotyczy uczuć, Einstein i Dawkins wcale nie są lepsi od innych. Demokracja zakłada, że ludzkie odczucia stanowią odbicie jakiejś tajemniczej i głębokiej „wolnej woli”, że ta „wolna wola” jest ostatecznym źródłem władzy oraz że wprawdzie niektórzy ludzie są bardziej inteligentni od innych, jednak wszyscy są w równym stopniu wolni. Niepiśmienna służąca także ma wolną wolę, tak samo jak Einstein i Dawkins, a zatem w dniu wyborów jej odczucia – pod postacią oddanego przez nią głosu – liczą się dokładnie tak samo, jak odczucia każdego innego człowieka.

Odczuciami kierują się nie tylko wyborcy, lecz również przywódcy. Podczas referendum w sprawie brexitu w 2016 roku kampanii na rzecz opuszczenia UE przewodzili wspólnie Boris Johnson i Michael Gove. Po ustąpieniu Davida Camerona Gove początkowo popierał kandydaturę Johnsona na urząd premiera, jednak w ostatniej chwili oświadczył, że Johnson nie nadaje się na to stanowisko, i ogłosił, że sam ma zamiar się o nie ubiegać. Działanie Gove’a, które zaprzepaściło szanse Johnsona, opisywano jako makiaweliczny zamach polityczny47. Gove jednak bronił swego zachowania, odwołując się do własnych odczuć, i wyjaśniał: „Na każdym kroku swego życia w polityce zadawałem sobie to jedno pytanie: «Co należy robić? Co dyktuje ci serce?»”48. To dlatego, twierdzi Gove, tak zażarcie walczył o brexit, to dlatego poczuł się w obowiązku wbić swemu niegdysiejszemu sojusznikowi Borisowi Johnsonowi nóż w plecy i samemu stanąć do walki o pozycję samca alfa – ponieważ tak dyktowało mu serce.

Poleganie na odczuciach może się okazać piętą achillesową liberalnej demokracji. Z chwilą bowiem gdy ktoś (obojętne, czy w Pekinie, czy w San Francisco) zyska techniczną możliwość hakowania ludzkich serc i oddziaływania na nie, polityka demokratyczna przeobrazi się w emocjonalne przedstawienie lalkowe.

Słuchaj algorytmu

Liberalna wiara w uczucia i wolne wybory jednostek nie jest ani naturalna, ani pradawna. Przez całe tysiąclecia ludzie wierzyli, że władza pochodzi z boskiego nadania, a nie z ludzkiego serca i że z tego powodu powinniśmy przypisywać świętość raczej słowu Boga niż ludzkiej wolności. Dopiero w ostatnich kilku stuleciach źródło władzy przesunęło się z niebiańskich bóstw na ludzi z krwi i kości.

Wkrótce władza może przesunąć się ponownie – tym razem przejdzie z ludzi na algorytmy. Potwierdzeniem boskiej władzy były religijne mitologie, z kolei uzasadnieniem ludzkiej – opowieść liberalna. Podobnie nadchodząca rewolucja techniczna mogłaby ustanowić władzę algorytmów opartych na big data, podkopując jednocześnie samą ideę wolności jednostki.

Jak wspomnieliśmy w poprzednim rozdziale, naukowe poznanie sposobu, w jaki funkcjonują nasze mózgi i ciała, wskazuje, że nasze uczucia nie stanowią odzwierciedlenia „wolnej woli”. Są raczej biochemicznymi mechanizmami, których używają wszystkie ssaki i ptaki, aby szybko obliczać prawdopodobieństwo przetrwania i reprodukcji. Uczucia nie opierają się na intuicji, natchnieniu ani wolności – opierają się na kalkulacji.

Gdy małpa, mysz albo człowiek widzi węża, odczuwa strach, ponieważ miliony neuronów w mózgu prędko przeliczają istotne dane i dochodzą do wniosku, że prawdopodobieństwo śmierci jest wysokie. Odczucie pociągu seksualnego powstaje wówczas, gdy inne biochemiczne algorytmy obliczają, że ze znajdującym się w pobliżu osobnikiem wiąże się wysokie prawdopodobieństwo udanego spółkowania, stworzenia więzi społecznej lub osiągnięcia jakiegoś innego upragnionego celu. Uczucia o charakterze moralnym, takie jak oburzenie, poczucie winy albo przebaczenie, wywodzą się z mechanizmów układu nerwowego, które rozwinęły się w celu umożliwienia współpracy w grupie. Wszystkie te biochemiczne algorytmy doskonaliły się w ciągu milionów lat ewolucji. Jeśli uczucia jakiegoś pradawnego przodka były błędne, kształtujące je geny nie przechodziły na kolejne pokolenie. Uczucia zatem nie są przeciwieństwem racjonalności – są odbiciem racjonalności ewolucji.

Zazwyczaj nie zdajemy sobie sprawy, że uczucia to tak naprawdę obliczenia, ponieważ szybki proces kalkulacji przebiega znacznie poniżej progu naszej świadomości. Nie czujemy milionów neuronów w mózgu, które przeliczają prawdopodobieństwo przetrwania i rozmnażania się, dlatego mylnie sądzimy, że strach przed wężami, wybór partnerów seksualnych i opinie w kwestii Unii Europejskiej są wynikiem jakiejś tajemniczej „wolnej woli”.

Mimo że liberalizm myli się, uznając nasze uczucia za odbicie wolnej woli, to jednak opieranie się na nich wciąż sprawdza się w praktyce. Choć w naszych uczuciach nie ma nic „magicznego” ani „wolnego”, to jednak są one najlepszą istniejącą we wszechświecie metodą podejmowania decyzji typu: co studiować, z kim wziąć ślub i na którą partię głosować. Nie powstał do tej pory żaden zewnętrzny system, który mógłby choćby mieć nadzieję, że będzie lepiej ode mnie rozumiał moje uczucia. Nawet jeśli hiszpańska inkwizycja albo sowieckie KGB obserwowały mnie bez przerwy dzień po dniu, brakowało im wiedzy na temat biologii oraz nie miały mocy obliczeniowej koniecznej do zhakowania biochemicznych procesów kształtujących moje pragnienia i wybory. Ze względów praktycznych rozsądnie było zatem przyjmować, że mam wolną wolę, ponieważ moją wolę kształtowała głównie wzajemna zależność wewnętrznych sił, których nikt z zewnątrz nie widział. Mogłem się cieszyć złudzeniem, że mam kontrolę nad swoimi decyzjami, podczas gdy osoby z zewnątrz nigdy tak naprawdę nie były w stanie zrozumieć, co dzieje się w moim wnętrzu ani w jaki sposób podejmuję te decyzje.

A zatem liberalizm słusznie zalecał ludziom, by szli za głosem serca, a nie za nakazami jakiegoś księdza czy aparatczyka. Jednak wkrótce komputerowe algorytmy będą mogły udzielać nam lepszych rad niż ludzkie uczucia. Gdy zamiast hiszpańskiej inkwizycji i KGB będziemy mieli Google’a i Baidu, „wolna wola” zostanie prawdopodobnie zdemaskowana jako mit, a liberalizm może stracić swoje praktyczne atuty.

Znajdujemy się obecnie – jak już wspominałem – w punkcie styku dwóch ogromnych rewolucji. Z jednej strony biologowie rozszyfrowują tajemnice ciała człowieka, a w szczególności mózgu i ludzkich uczuć. Z drugiej – informatycy dają nam niespotykaną moc przetwarzania danych. Gdy rewolucja biotechnologiczna połączy się z rewolucją technologiczno-informacyjną, wówczas stworzy algorytmy oparte na big data, które będą mogły obserwować i rozumieć moje uczucia dużo lepiej niż ja sam, a wtedy władza prawdopodobnie przejdzie z ludzi na komputery. Moje złudzenie wolnej woli przypuszczalnie się rozpadnie, ponieważ codziennie będę się stykał z instytucjami, korporacjami i agencjami rządowymi, które będą rozumiały to, co dotychczas stanowiło moją niedostępną dla innych, wewnętrzną sferę – i będą na nią oddziaływały.

Coś takiego dzieje się już w dziedzinie medycyny. Najważniejsze medyczne decyzje w naszym życiu opierają się nie na naszych odczuciach co do tego, czy jesteśmy chorzy, czy zdrowi, ani nawet nie na przewidywaniach dobrze znającego nas lekarza – lecz na obliczeniach komputerów, które rozumieją nasze ciała znacznie lepiej niż my sami. W ciągu paru dziesięcioleci algorytmy oparte na big data, bazujące na stałym napływie danych biometrycznych, będą mogły monitorować nasze zdrowie dwadzieścia cztery godziny na dobę, siedem dni w tygodniu. Będą mogły wykryć już sam początek grypy, raka albo choroby Alzheimera, na długo przed tym, nim sami poczujemy, że coś jest z nami nie tak, a następnie zalecić nam odpowiednie leczenie, dietę i codzienny plan terapii – wszystko zaprojektowane specjalnie dla nas, z uwzględnieniem wyjątkowej budowy naszego ciała, naszego DNA i naszej osobowości.

Ludzie będą korzystać z najlepszej opieki medycznej w dziejach, jednak właśnie z tego powodu prawdopodobnie przez cały czas coś im będzie dolegać. Zawsze znajdzie się jakiś element organizmu, który działa wadliwie. Zawsze jest coś, co można poprawić. W przeszłości człowiek czuł się całkiem zdrowy, o ile nie doskwierał mu ból albo nie cierpiał z powodu jakiegoś wyraźnego upośledzenia, na przykład gdy był kulawy. W 2050 roku jednak – dzięki czujnikom biometrycznym i algorytmom opartym na big data – choroby będzie można diagnozować i leczyć na długo przed tym, nim doprowadzą do bólu lub kalectwa. W efekcie zawsze będziemy cierpieć z powodu jakiegoś „schorzenia” i ciągle stosować się do tych albo innych algorytmicznych zaleceń. Jeśli ktoś chciałby się od nich wykręcić, może to spowodować nieważność jego ubezpieczenia albo utratę pracy – dlaczego ktoś inny miałby płacić za czyjś upór?

Osoba uzależniona od nikotyny może się nie przejmować ogólnymi statystykami wiążącymi palenie z rakiem płuc i po prostu palić dalej. Sytuacja będzie jednak wyglądała zupełnie inaczej, gdy ktoś nie rzuci palenia mimo skierowanego do niego precyzyjnego ostrzeżenia wysłanego przez biometryczny sensor, który wykryje siedemnaście komórek rakowych w górnym płacie jego lewego płuca. Co się stanie, jeśli taki palacz spróbuje zignorować dane płynące z czujnika, ale ten czujnik prześle ostrzeżenie dalej, do jego ubezpieczyciela, szefa, matki?

Komu starczy czasu i energii, by zajmować się tymi wszystkimi chorobami? Najprawdopodobniej będziemy po prostu mogli polecić swojemu algorytmowi zdrowotnemu, by sam rozwiązał większość z tych problemów od razu w chwili ich wykrycia. Pewnie będzie wysyłał nam co jakiś czas do smartfona aktualizacje dotyczące naszych danych, z których dowiemy się, że „wykryto i zniszczono siedemnaście komórek rakowych”. Być może te powiadomienia będą sumiennie czytać hipochondrycy, większość z nas jednak nawet nie rzuci na nie okiem, tak jak nie poświęcamy uwagi choćby denerwującym komunikatom programów antywirusowych w komputerach.

Dramat podejmowania decyzji

To, co zostało już zapoczątkowane w medycynie, przypuszczalnie będzie się również dokonywało w coraz większej liczbie innych dziedzin. Kluczowym w tym względzie wynalazkiem jest sensor biometryczny – czujnik, który człowiek może nosić na ciele lub mieć go wszczepionego gdzieś wewnątrz organizmu. Jego zadaniem jest przekształcanie procesów biologicznych w informacje w postaci elektronicznej, które mogą być magazynowane i analizowane przez komputery. Dysponując wystarczającą ilością danych biometrycznych oraz dostateczną mocą obliczeniową, zewnętrzne systemy przetwarzania danych mogą zhakować wszystkie twoje pragnienia, decyzje i opinie. Mogą cię poznać na wylot.

Większość ludzi nie zna siebie zbyt dobrze. Ja na przykład zdałem sobie sprawę, że jestem gejem, dopiero gdy miałem dwadzieścia jeden lat, po kilku latach wypierania się tego. I nie jest to nic wyjątkowego. Większość gejów przez cały okres nastoletni nie jest pewna własnej seksualności. Wyobraźmy sobie teraz sytuację w 2050 roku, kiedy będzie istniał algorytm, dzięki któremu każdy nastolatek dowie się dokładnie, w jakim miejscu spektrum homo/hetero się znajduje (a nawet na ile jego miejsce na tej skali jest elastyczne). Być może działanie takiego algorytmu będzie polegało na tym, że podczas oglądania zdjęć albo filmów z atrakcyjnymi mężczyznami i kobietami czujniki będą śledzić ruchy gałek ocznych, ciśnienie krwi i aktywność mózgu badanego – i po pięciu minutach pojawi się wynik w skali Kinseya49. Coś takiego mogło mi oszczędzić wielu lat frustracji. Być może nigdy nie przyszłoby ci do głowy, by zrobić sobie taki test, ale mogłoby się zdarzyć i tak, że na przykład nudzilibyście się z grupą przyjaciół na urodzinach koleżanki i ktoś zaproponowałby, aby wszyscy po kolei sprawdzili na sobie ten świetny nowy algorytm, oczywiście podglądając swoje wyniki i je komentując. Jak byś zareagował?

Nawet gdybyś po prostu wyszedł i schował się przed samym sobą oraz przed kolegami z klasy, i tak nie byłbyś w stanie ukryć się przed Amazonem, Alibabą ani tajną policją. W trakcie surfowania po sieci, oglądania YouTube’a albo aktywności w mediach społecznościowych algorytmy przez cały czas będą cię dyskretnie monitorowały, analizowały i mówiły Coca-Coli, że jeśli chce sprzedać ci jakiś napój gazowany, to powinna wykorzystać do tego raczej reklamę z chłopakiem bez koszulki niż z dziewczyną bez koszulki. Nawet ty sam nie będziesz o tym wiedział. Ale oni – owszem, a takie informacje będą warte miliardy.

No ale przecież może to wszystko będzie całkiem jawne, a ludzie chętnie będą się dzielili informacjami, aby dostawać lepsze rekomendacje – a ostatecznie aby otrzymać algorytm, który podejmie za nich różne decyzje. Zaczyna się od prostych spraw, takich jak wybór filmu. Gdy w gronie przyjaciół siadacie przed telewizorem, by spędzić miły wieczór przed ekranem, najpierw musicie zdecydować, co będziecie oglądać. Pięćdziesiąt lat temu nie było wyboru, ale dzisiaj – wraz z pojawieniem się serwisów oferujących oglądanie na życzenie – mamy dostęp do tysięcy tytułów. Dojście do porozumienia w tych okolicznościach może być dość trudne, o ile bowiem ty lubisz thrillery science fiction, o tyle twój kumpel woli komedie romantyczne, a twoja przyjaciółka głosuje za wyrafinowanymi filmami francuskimi. Może się skończyć na tym, że za kompromis uznacie jakiś film klasy B, który dla wszystkich okaże się rozczarowaniem.

W takiej sytuacji mógłby pomóc algorytm. Każde z was podałoby tytuły obejrzanych wcześniej filmów, które naprawdę się wam podobały, a algorytm – na podstawie swej potężnej bazy danych statystycznych – będzie mógł wyszukać idealny film dopasowany do waszej grupy. Niestety, taki prymitywny algorytm może podać błędne wyniki, zwłaszcza że jak dobrze wiemy, własna ocena nie jest wiarygodną miarą prawdziwych ludzkich upodobań. Często bywa tak, że ponieważ mnóstwo ludzi chwali jakiś film i uważa go za arcydzieło, czujemy się w obowiązku go obejrzeć. I choć w połowie seansu zasypiamy, później opowiadamy wszystkim dokoła, jakie to było niewiarygodne doświadczenie, byle tylko nikt nie pomyślał, że brak nam kulturalnego wyrobienia50.

Tego typu problemy można jednak rozwiązać: wystarczy po prostu pozwolić algorytmowi zbierać na bieżąco dane na nasz temat. Będą one generowane podczas faktycznego oglądania filmów – nie trzeba już będzie polegać na naszych własnych samoocenach, których wiarygodność jest wątpliwa. Na początek algorytm może sprawdzić, jakie filmy obejrzeliśmy do końca, a które wyłączyliśmy w połowie. Nawet jeśli będziemy opowiadali wszem wobec i każdemu z osobna, że Przeminęło z wiatrem to najlepszy film, jaki kiedykolwiek nakręcono, to algorytm będzie wiedział, że nigdy nie obejrzeliśmy więcej niż pierwsze pół godziny i nigdy tak naprawdę nie widzieliśmy, jak płonie Atlanta.

Algorytm jednak może zajrzeć znacznie głębiej. Obecnie tworzy się oprogramowanie zdolne wykrywać ludzkie emocje na podstawie ruchu gałek ocznych i mięśni twarzy51. Wystarczy podpiąć do telewizora dobrą kamerę, a taki software będzie już wiedział, podczas których scen się śmialiśmy, które wywoływały w nas smutek, a które nas nudziły. Następnie podłączymy algorytm do czujników biometrycznych, dzięki czemu będzie wiedział, w jaki sposób poszczególne klatki filmu wpływają na nasze tętno, ciśnienie i aktywność mózgu. Na przykład gdy będziemy oglądać Pulp Fiction, algorytm może zauważyć, że scena gwałtu wywołuje w nas lekkie, niemal niedostrzegalne podniecenie seksualne, a gdy Vincent przypadkowo strzela Marvinowi w twarz, rozśmiesza nas to (choć jednocześnie czujemy się tym zawstydzeni), nie łapiemy z kolei tego żartu na temat Big Kahuna Burger – ale i tak się śmiejemy, żeby nie wyjść na głupków. Gdy człowiek śmieje się w sposób wymuszony, korzysta z innych obwodów mózgowych i innych mięśni niż wówczas, gdy śmieje się dlatego, że coś go naprawdę bawi. Ludzie zazwyczaj nie potrafią dostrzec tej różnicy. Ale czujnik biometryczny byłby tu bezbłędny52.

Słowo „telewizja” pochodzi od greckiego tele, oznaczającego ‘daleko’, oraz łacińskiego visio – ‘widzenie’. Pierwotnie miało to być urządzenie pozwalające nam widzieć z daleka. Niedługo jednak może ono sprawić, że to my b ę d z i e m y  w i d z i a n i z daleka. Jak przewidywał George Orwell w swej książce Rok 1984: gdy my będziemy oglądali telewizję, ona będzie oglądała nas. Gdy już zapoznamy się z całą filmografią Tarantina, być może z czasem zapomnimy większość jego filmów. Ale Netflix albo Amazon, albo ktokolwiek inny, kto będzie właścicielem telewizyjnego algorytmu, będzie znał nasz typ osobowości i będzie umiał w odpowiedni sposób naciskać klawisze naszych emocji. Tego rodzaju dane pozwolą Netflixowi i Amazonowi niesamowicie precyzyjnie dobierać dla nas filmy, ale też umożliwią im podejmowanie za nas najważniejszych decyzji w życiu – na przykład jakie studia wybrać, gdzie pracować albo z kim wziąć ślub.

Oczywiście Amazon nie będzie cały czas bezbłędny. To niemożliwe. Algorytmy będą się ciągle myliły z powodu niewystarczających danych, wadliwego oprogramowania, mało precyzyjnego zdefiniowania celów i ogólnie z racji chaotycznej natury rzeczywistości53. Amazon jednak nie musi być doskonały. Wystarczy, że będzie po prostu lepszy statystycznie niż my, ludzie. A to nie jest takie trudne, ponieważ większość ludzi nie zna samych siebie zbyt dobrze i często popełnia straszliwe błędy, podejmując najważniejsze życiowe decyzje. Ludzie w większym nawet stopniu niż algorytmy boleśnie doświadczają skutków wynikających z posiadania niewystarczających danych, z błędów w oprogramowaniu (genetycznym i kulturowym), niejasnych definicji i chaosu życia.

Problemów, z którymi borykają się algorytmy, jest bardzo wiele, można by więc dojść do wniosku, że ludzie nigdy im nie zaufają. Długa lista tych kłopotów przypomina jednak trochę katalog wszystkich możliwych wad demokracji: również w tym wypadku chciałoby się powiedzieć, że nikt przy zdrowych zmysłach nie wybrałby takiego systemu. Wszystkim znane są słowa Winstona Churchilla, że demokracja jest najgorszym systemem politycznym na świecie, jeśli nie liczyć wszystkich innych. Słusznie czy nie, ludzie mogą dojść do tych samych wniosków na temat algorytmów opartych na big data: wiąże się z nimi cała masa problemów, ale nie mamy lepszego rozwiązania.

W miarę jak naukowcy będą pogłębiali swoją wiedzę na temat sposobu dokonywania wyborów przez ludzi, pokusa zdania się na algorytmy będzie przypuszczalnie coraz silniejsza. Zhakowanie ludzkiego procesu podejmowania decyzji nie tylko zwiększy niezawodność opartych na big data algorytmów, lecz zarazem doprowadzi do tego, że m n i e j niezawodne staną się ludzkie uczucia. Gdy rządom i korporacjom uda się zhakować ludzki system operacyjny, zostaniemy wystawieni na potok precyzyjnie kierowanej manipulacji, reklamy i propagandy. Wpływanie na nasze opinie i emocje może stać się tak proste, że będziemy zmuszeni zdać się na algorytmy – tak samo jak pilot, który podczas lotu dostał akurat zawrotów głowy, musi więc zignorować to, co mówią mu własne zmysły, i zaufać całkowicie aparaturze.

W niektórych krajach i niektórych kwestiach ludzie mogą nie mieć w ogóle wyboru i zostaną zmuszeni do podporządkowania się decyzjom algorytmów opartych na big data. Nawet jednak w społeczeństwach uchodzących za wolne algorytmy mogą zdobyć władzę, ponieważ doświadczenie nauczy nas ufać im w coraz większej liczbie sytuacji i stopniowo stracimy zdolność samodzielnego podejmowania decyzji. Wystarczy przypomnieć, jak w ciągu zaledwie dwóch dziesięcioleci miliardy ludzi nauczyły się powierzać algorytmowi wyszukiwania Google’a jedno z najważniejszych zadań: znajdowanie użytecznych i wiarygodnych informacji. Właściwie już nie szukamy informacji. Zamiast tego googlujemy. A w miarę jak coraz bardziej opieramy się na Google’u, poszukując odpowiedzi, zmniejsza się nasza zdolność samodzielnego pozyskiwania informacji. Już dzisiaj „prawdę” definiują najwyżej się plasujące wyniki wyszukiwania Google’a54.

To samo dzieje się z umiejętnościami fizycznymi, na przykład z orientacją w przestrzeni. O poprowadzenie do celu ludzie proszą Google’a. Gdy dojeżdżają do jakiegoś skrzyżowania, intuicja może im podpowiadać: „skręć w lewo”, ale Mapy Google mówią: „skręć w prawo”. Za pierwszym razem słuchają intuicji, skręcają w lewo, trafiają na korek i spóźniają się na ważne spotkanie. Następnym razem słuchają Google’a, skręcają w prawo i udaje im się zdążyć na czas. Uczą się ufać Google’owi na podstawie doświadczenia. Po roku lub dwóch ślepo polegają na tym, co mówią Mapy Google, a kiedy padnie im smartfon, są jak dzieci we mgle.

W marcu 2012 roku w Australii troje japońskich turystów postanowiło wybrać się na całodzienną wycieczkę na jakąś wysepkę i wjechało samochodem prosto do Oceanu Spokojnego. Kierująca nim dwudziestojednoletnia Yuzu Noda oznajmiła później, że po prostu wykonywała polecenia GPS-u: „on powiedział, że możemy tamtędy przejechać. Cały czas mówił, że poprowadzi nas do drogi. Ugrzęźliśmy”55. W kilku podobnych sytuacjach, najwyraźniej wykonując polecenia GPS-u, ludzie wjeżdżali do jeziora albo spadali z krawędzi rozebranego mostu56. Zdolność odnajdywania drogi jest jak mięśnie – nieużywana zanika57. To samo dotyczy umiejętności wybierania sobie małżonka albo profesji.

Co roku miliony młodych ludzi muszą decydować, gdzie iść na studia. To bardzo ważna i niezwykle trudna decyzja. Młody człowiek znajduje się pod silną presją ze strony rodziców, przyjaciół i nauczycieli, którzy mają różne interesy i różne zdania. Ma też własne marzenia i obawy, z którymi musi sobie radzić. Jego ocenę sytuacji mącą hollywoodzkie filmy, szmirowate powieści oraz wyrafinowane kampanie reklamowe. Trudno jest mu podjąć mądrą decyzję przede wszystkim dlatego, że tak naprawdę nie wie, co jest potrzebne do odniesienia sukcesu w różnych zawodach, poza tym niekoniecznie ma realistyczne wyobrażenie na temat własnych mocnych i słabych stron. Czego potrzeba, by być dobrym prawnikiem? Jak sobie radzę pod presją? Czy dobrze pracuję w zespole?

Może się zdarzyć, że jakaś dziewczyna wybierze studia prawnicze, ponieważ ma niewłaściwe wyobrażenie na temat własnych umiejętności i jeszcze bardziej zniekształconą wizję tego, z czym w rzeczywistości wiąże się bycie prawnikiem (wcale nie trzeba przez cały dzień wygłaszać patetycznych przemówień ani krzyczeć: „Sprzeciw, Wysoki Sądzie!”). Tymczasem jej przyjaciółka postanawia spełnić swoje marzenie z dzieciństwa i pójść na studia artystyczne, na których chce się uczyć zawodowo tańca baletowego, mimo że nie ma odpowiedniej do tego budowy kości, brakuje jej też koniecznej dyscypliny. Po latach obie kobiety bardzo żałują swych decyzji. W przyszłości będziemy mogli oprzeć się na Google’u, który będzie podejmował takie decyzje za nas. Google będzie mógł mi powiedzieć, że studia na wydziale prawa lub w szkole baletowej będą dla mnie stratą czasu – a jednocześnie, że mógłbym zostać znakomitym (i bardzo szczęśliwym) psychologiem albo hydraulikiem58.

Z chwilą gdy sztuczna inteligencja stanie się lepsza od nas w podejmowaniu decyzji w sprawie naszej kariery, a może nawet naszych związków, będzie się musiało zmienić nasze pojęcie ludzkości i życia. Przywykliśmy myśleć o życiu jako o dramacie podejmowania decyzji. Demokracja liberalna i kapitalizm wolnorynkowy traktują jednostkę jako niezależny podmiot, który nieustannie dokonuje wyborów dotyczących świata. Wszelkie utwory narracyjne – czy będą to sztuki Szekspira, powieści Jane Austen czy tandetne hollywoodzkie komedie – zazwyczaj obracają się wokół bohatera, który musi podjąć jakąś wyjątkowo ważną decyzję. Być albo nie być? Posłuchać żony i zabić Dunkana czy posłuchać głosu sumienia i oszczędzić starego króla? Wyjść za pana Collinsa czy za pana Darcy’ego? Na dramacie, jakim jest podejmowanie decyzji, skupiona jest również chrześcijańska i muzułmańska teologia, które twierdzą, że wieczne zbawienie lub potępienie zależy od dokonania właściwego wyboru.

Co stanie się z tą wizją życia, gdy coraz bardziej będziemy się zdawać na podpowiedzi sztucznej inteligencji? Obecnie Netflixowi powierzamy rekomendowanie nam filmów, a Mapom Google decydowanie, w którą stronę skręcić na skrzyżowaniu. Z chwilą jednak gdy zaczniemy polegać na SI w zakresie wyboru studiów, pracy, żony czy męża, ludzkie życie przestanie być dramatem podejmowania decyzji. Demokratyczne wybory i wolny rynek nie będą miały wielkiego sensu. Podobnie jak większość religii i dzieł literackich. Wyobraźmy sobie Annę Kareninę, która bierze do ręki smartfona i pyta facebookowy algorytm, czy powinna nadal być żoną Karenina, czy uciec z dziarskim hrabią Wrońskim. Albo pomyślmy o swojej ulubionej sztuce Szekspira, w której wszystkie najważniejsze decyzje podejmuje algorytm Google’a. Życie Hamleta i Makbeta będzie znacznie szczęśliwsze, ale jakiego właściwie rodzaju to będzie życie? Czy mamy modele pozwalające je rozumieć?

Gdy władza przejdzie z ludzi na algorytmy, możemy przestać rozumieć świat jako przestrzeń, w której niezależne jednostki starają się podejmować właściwe wybory. Zamiast tego możemy zacząć postrzegać cały wszechświat jako przepływ danych, uważając, że organizmy to nic więcej niż biochemiczne algorytmy, i wierząc, że powołaniem ludzkości w kosmosie jest stworzenie wszechogarniającego systemu przetwarzania danych – a następnie włączenie się weń. Już dzisiaj stajemy się maleńkimi chipami wewnątrz gigantycznego systemu przetwarzania danych, którego nikt tak do końca nie rozumie. Codziennie za pośrednictwem e-maili, tweetów i artykułów przyswajam niezliczone bity danych, przetwarzam te dane i przekazuję z powrotem nowe bity za pośrednictwem kolejnych e-maili, tweetów i artykułów. Tak naprawdę nie wiem, gdzie jest moje miejsce w ogólnym planie ani w jaki sposób moje bity danych łączą się z bitami wytwarzanymi przez miliardy innych ludzi i komputerów. Nie mam czasu się tego dowiadywać, ponieważ jestem za bardzo zajęty odpowiadaniem na te wszystkie e-maile.

Filozoficzny samochód

Ktoś mógłby zaprotestować, mówiąc, że algorytmy nigdy nie będą w stanie podejmować za nas ważnych decyzji, ponieważ takie decyzje zazwyczaj dotyczą wymiaru etycznego, a algorytmy nie rozumieją etyki. Nie ma jednak powodu, by zakładać, że algorytmy nie okażą się lepsze od przeciętnego człowieka nawet w etyce. Już dzisiaj, gdy smartfony i pojazdy autonomiczne podejmują decyzje, które niegdyś uchodziły za zarezerwowane dla ludzi, urządzenia te zaczynają borykać się z tymi samymi problemami etycznymi, którymi przez całe tysiąclecia zadręczali się ludzie.

Załóżmy na przykład, że tuż przed poruszający się drogą samochód autonomiczny wyskakuje dwoje dzieci goniących piłkę. Na podstawie przeprowadzonych błyskawicznie obliczeń algorytm kierujący samochodem dochodzi do wniosku, że jedynym sposobem uniknięcia potrącenia tej dwójki dzieciaków jest gwałtowny skręt na przeciwny pas i zaryzykowanie kolizji z nadjeżdżającą ciężarówką. Algorytm oblicza, że w takiej sytuacji prawdopodobieństwo śmierci właściciela samochodu – który śpi smacznie na tylnym siedzeniu – wynosi 70 procent. Co powinien zrobić algorytm?59

Filozofowie przez całe tysiąclecia spierali się o takie „dylematy wagonika” (tak się je nazywa, ponieważ podręcznikowe przykłady we współczesnych filozoficznych debatach odwołują się nie do samochodu autonomicznego, lecz do wagonika kolejki, który wymknął się spod kontroli i pędzi w dół po torach60. Jak dotąd ich argumenty miały żenująco niewielki wpływ na rzeczywiste zachowanie, ponieważ w sytuacji kryzysowej ludzie zbyt często zapominają o swych filozoficznych poglądach i kierują się po prostu emocjami oraz pierwotnym instynktem.

Jeden z najokropniejszych eksperymentów w dziejach nauk społecznych przeprowadzono w grudniu 1970 roku na grupie studentów Princeton Theological Seminary, którzy przygotowywali się do tego, by zostać pastorami Kościoła prezbiteriańskiego. Każdemu z nich polecono, by szybko udał się do odległej sali i wygłosił tam wykład na temat przypowieści o miłosiernym Samarytaninie. Opowiada ona o tym, jak pewien Żyd podróżujący z Jerozolimy do Jerycha został obrabowany i pobity przez bandytów, którzy następnie zostawili go na poboczu drogi, by tam skonał. Po jakimś czasie przechodzili tamtędy kapłan i lewita, obaj jednak nie zareagowali na jego widok. Natomiast Samarytanin – członek sekty, którą Żydzi mieli w wielkiej pogardzie – widząc bliźniego w potrzebie, zatrzymał się, zaopiekował się nim i ocalił mu życie. Morał z tej przypowieści jest taki, że człowieka należy oceniać na podstawie jego faktycznego zachowania, a nie przynależności do konkretnej religii.

Jeden po drugim gorliwi młodzi seminarzyści pędzili zatem do wskazanej sali, zastanawiając się po drodze, jak by tu najlepiej wyjaśnić morał płynący z przypowieści o miłosiernym Samarytaninie. Na trasie, którą w takim pośpiechu pokonywali, twórcy eksperymentu posadzili jednak nędznie ubranego człowieka. Siedział on w drzwiach z pochyloną głową i zamkniętymi oczami – wyglądał, jakby osunął się na ziemię z braku sił. W chwili gdy każdy z niczego niepodejrzewających seminarzystów mijał go pospiesznie, „cierpiący” kaszlał i wydawał z siebie jęki. Większość seminarzystów nawet się nie zatrzymała, by spytać, co mu dolega, nie mówiąc o tym, by miała mu zaoferować pomoc. Napięcie emocjonalne wywołane koniecznością szybkiego dotarcia do wyznaczonej sali brało górę nad moralnym obowiązkiem niesienia pomocy cierpiącemu obcemu człowiekowi61.

Ludzkie emocje biorą górę nad teoriami filozoficznymi w niezliczonych innych sytuacjach. Sprawia to, że etyczna i filozoficzna historia świata jest dość przygnębiającą opowieścią o cudownych ideałach i bynajmniej nie idealnym postępowaniu. Ilu chrześcijan rzeczywiście nadstawia drugi policzek, ilu buddystów rzeczywiście wznosi się ponad egoistyczne obsesje i ilu żydów rzeczywiście kocha bliźnich jak siebie samych? Po prostu w taki sposób dobór naturalny ukształtował homo sapiens. Podobnie jak wszystkie ssaki, homo sapiens używa emocji do szybkiego podejmowania decyzji dotyczących życia i śmierci. Gniew, strach i pożądanie dziedziczymy po milionach przodków, z których każdy pozytywnie przeszedł najsurowsze testy kontroli jakości, czyli test doboru naturalnego.

Niestety to, co było dobre dla przetrwania i rozmnażania się na afrykańskiej sawannie milion lat temu, niekoniecznie sprzyja odpowiedzialnemu postępowaniu na dwudziestopierwszowiecznych autostradach. Zdenerwowani, zezłoszczeni i niespokojni kierowcy co roku w wypadkach drogowych zabijają ponad milion ludzi. Możemy wysłać wszystkich filozofów, proroków i kapłanów, jakich znajdziemy, by głosili tym kierowcom kazania na temat etyki – ale i tak na drodze górą będą wciąż typowe dla ssaków emocje i instynkty wyniesione z sawanny. Dlatego seminarzyści nie będą reagować na widok cierpiącego człowieka, a przeżywający jakiś kryzys kierowcy będą rozjeżdżać nieszczęsnych pieszych.

Ta rozłączność seminarium i drogi jest jednym z największych praktycznych problemów w etyce. Immanuel Kant, John Stuart Mill i John Rawls mogą sobie siedzieć całymi dniami w przytulnej auli uniwersyteckiej i omawiać teoretyczne problemy z zakresu etyki – ale czy zestresowani kierowcy w jakiejś nagłej sytuacji, wymagającej podjęcia decyzji w ułamku sekundy, rzeczywiście wprowadzą w życie ich wnioski? Być może Michael Schumacher – mistrz Formuły 1, któremu czasami przypisuje się tytuł najlepszego kierowcy w dziejach – rozmyślał o filozofii, prowadząc samochód wyścigowy; ale większość z nas nie jest Schumacherem.

Algorytmów komputerowych nie ukształtował jednak dobór naturalny i nie mają one ani emocji, ani pierwotnych instynktów. A zatem w sytuacji kryzysowej będą umiały stosować się do wytycznych moralnych znacznie lepiej niż ludzie – pod warunkiem, że wymyślimy sposób na zapisanie etyki za pomocą liczb i statystyk. Gdybyśmy nauczyli Kanta, Milla i Rawlsa pisać oprogramowania, mogliby w swej przytulnej pracowni starannie zaprogramować samochód autonomiczny i mieć pewność, że na autostradzie będzie trzymał się ich nakazów. W efekcie każdy samochód miałby za kierownicą Michaela Schumachera i Immanuela Kanta w jednej osobie (a ściślej: w jednym algorytmie).

Jeśli zaprogramujemy samochód autonomiczny tak, że będzie się zatrzymywał przy cierpiącym obcym człowieku, by można było mu pomóc, to tak właśnie zrobi, choćby się paliło i waliło (o ile oczywiście w kodzie programu nie umieścimy linijki uwzględniającej wyjątek, jakim jest właśnie scenariusz, gdy się pali i wali). Podobnie jeśli nasz samochód autonomiczny zostanie zaprogramowany tak, by gwałtownie skręcić i wjechać na przeciwny pas, aby ocalić życie dwójki dzieci wbiegających mu przed maskę, to własnym życiem możemy ręczyć (i to życie stracić), że właśnie tak zrobi. Projektując samochody autonomiczne, firmy takie jak Toyota czy Tesla będą przekształcały teoretyczne problemy z dziedziny filozofii etyki na praktyczne problemy z dziedziny inżynierii oprogramowania.

Zgoda, filozoficzne algorytmy nigdy nie będą idealne. Błędy wciąż będą się zdarzały, a ich skutkiem mogą się stać obrażenia, wypadki śmiertelne i niezwykle skomplikowane procesy sądowe. (Niewykluczone, że po raz pierwszy w dziejach można będzie pozwać filozofa za niefortunne skutki jego teorii, ponieważ po raz pierwszy będzie można dowieść bezpośredniego związku przyczynowego między ideami filozoficznymi a wydarzeniami z realnego życia). Aby jednak zastąpić ludzi za kierownicą, algorytmy nie muszą być idealne. Wystarczy, jeśli będą po prostu lepsze od ludzi. Biorąc pod uwagę, że kierowcy zabijają corocznie ponad milion osób, nie jest to aż tak trudne wyzwanie. Chyba wolelibyście, żeby za kierownicą jadącego obok was samochodu siedział zespół Schumacher–Kant, a nie pijany nastolatek?62

Ta sama logika dotyczy także wielu innych sytuacji. Weźmy na przykład podania o pracę. W XXI wieku decyzje o tym, kogo zatrudnić na dane stanowisko, w coraz większym stopniu będą podejmowały algorytmy. By wyznaczyć odpowiednie standardy etyczne, nie możemy zdać się na maszynę – nadal będą musieli to robić ludzie. Z chwilą jednak gdy ustalimy jakiś etyczny standard na rynku pracy – na przykład że dyskryminowanie osób czarnoskórych albo kobiet jest złe – możemy zdać się na maszyny, które wprowadzą ów standard w życie i będą go utrzymywały lepiej niż ludzie63.

Człowiek na stanowisku dyrektora może wiedzieć o tym, że dyskryminowanie osób czarnoskórych i kobiet jest rzeczą nieetyczną, a nawet może się z tym zgadzać, ale przecież gdy jedną ze starających się o pracę osób jest czarnoskóra kobieta, dyrektor podświadomie ją dyskryminuje i podejmuje decyzję, że jej nie zatrudni. Jeśli pozwolimy komputerowi oceniać podania o pracę i zaprogramujemy go tak, by zupełnie nie brał pod uwagę rasy ani płci, możemy być pewni, że maszyna rzeczywiście pominie te czynniki, ponieważ komputery nie mają podświadomości. Oczywiście nie będzie łatwo napisać program oceniający podania o pracę i zawsze istnieje niebezpieczeństwo, że tworzący go ludzie w jakiś sposób przeniosą własne podświadome uprzedzenia do software’u64. Prawdopodobnie znacznie łatwiej jednak byłoby naprawić program, w którym wykryłoby się takie błędy, niż wykorzenić z ludzi rasistowskie i mizoginiczne uprzedzenia.

Wiemy już, że nadejście sztucznej inteligencji może wypchnąć większość ludzi z rynku pracy – w tym kierowców i policjantów z wydziałów ruchu drogowego (gdy niesfornych ludzi zastąpią posłuszne algorytmy, policja drogowa będzie niepotrzebna). Mogą się jednakże pojawić nowe miejsca pracy dla filozofów, ponieważ ich umiejętności – dotychczas pozbawione wielkiej wartości rynkowej – nagle zaczną być bardzo potrzebne. Jeśli więc chcecie studiować coś, co da wam w przyszłości gwarancję dobrej pracy, być może filozofia nie jest aż tak złym pomysłem.

Oczywiście filozofowie rzadko się ze sobą zgadzają w kwestii wyboru właściwego kierunku działania. Niewiele „dylematów wagonika” rozwiązano w sposób, który by zadowalał wszystkich filozofów, a myśliciele konsekwencjalistyczni (którzy oceniają czyny na podstawie ich konsekwencji), tacy jak John Stuart Mill, głoszą zupełnie inne opinie niż deontologowie (którzy oceniają czyny na podstawie absolutnych reguł), tacy jak Immanuel Kant. Czy firma Tesla będzie rzeczywiście musiała zająć jakieś stanowisko w tak zawiłych kwestiach?

Cóż, być może Tesla zostawi to po prostu decyzji rynku, uruchamiając produkcję dwóch modeli samochodów autonomicznych: Tesla Altruista i Tesla Egoista. W razie niebezpieczeństwa Altruista poświęci swego właściciela na rzecz większego dobra, podczas gdy Egoista zrobi wszystko, co w jego mocy, by właściciela ocalić – nawet jeśli będzie to oznaczało zabicie dwojga dzieci. Wówczas klienci będą mogli kupić sobie taki samochód, który będzie najbardziej odpowiadał preferowanym przez nich poglądom filozoficznym. Jeśli więcej ludzi postanowi kupić Teslę Egoistę, to nie będzie można za to winić Tesli. Przecież klient ma zawsze rację.

To nie żart. W 2015 roku przeprowadzono pionierskie badania, w trakcie których uczestnikom przedstawiono następujący hipotetyczny scenariusz: samochód autonomiczny znalazł się w sytuacji, w której za chwilę przejedzie kilku pieszych. Większość badanych twierdziła, że samochód powinien chronić pieszych nawet za cenę śmierci swego właściciela. Gdy następnie zapytano uczestników badania, czy sami kupiliby sobie samochód zaprogramowany w taki sposób, by poświęcić właściciela w imię większego dobra, większość powiedziała, że nie. Dla siebie woleliby Teslę Egoistę65.

Wyobraź sobie taką sytuację: kupiłaś nowy samochód, ale zanim zaczniesz go używać, musisz wejść do menu ustawień i pozaznaczać różne opcje. Czy w razie wypadku chcesz, żeby samochód poświęcił twoje życie – czy też zabił rodzinę jadącą innym pojazdem? Czy w ogóle chcesz dokonywać tego rodzaju wyborów? Pomyśl tylko, ile razy musiałabyś się kłócić z mężem o to, w co kliknąć…

Wobec tego być może to państwo powinno interweniować i wprowadzić pewne regulacje rynkowe, ustanawiając kodeks etyczny obowiązujący wszystkie samochody autonomiczne? Niektórzy ustawodawcy bez wątpienia byliby zachwyceni taką możliwością: wreszcie mogliby ustanawiać prawa, które byłyby z a w s z e i co do joty przestrzegane. Dla innych tak niespotykana i totalitarna odpowiedzialność może być przerażająca. Przecież w całej historii to właśnie ograniczona możliwość egzekwowania prawa zapewniała pożądaną przeszkodę dla szerzenia uprzedzeń, błędów i nadużyć prawodawców. Mieliśmy wyjątkowo dużo szczęścia, że prawa przeciwko homoseksualizmowi i bluźnierstwu były egzekwowane jedynie częściowo. Czy naprawdę chcemy systemu, w którym decyzje omylnych polityków staną się równie nieubłagane jak grawitacja?

Cyfrowe dyktatury

Sztuczna inteligencja często ludzi przeraża, ponieważ nie mają do niej zaufania – nie wierzą, że zawsze będzie im posłuszna. Widzieliśmy za dużo filmów science fiction o robotach, które buntują się przeciwko swym ludzkim panom, dostają amoku, biegają po ulicach i mordują wszystko, co się rusza. Prawdziwy problem z robotami jest jednak dokładnie odwrotny. Powinniśmy się ich obawiać dlatego, że prawdopodobnie będą zawsze posłuszne swym panom i nigdy się nie zbuntują.

W ślepym posłuszeństwie nie ma oczywiście niczego złego, dopóki roboty będą służyć dobrym panom. Nawet w dziedzinie militarnej powierzenie działań wojennych zabójczym robotom mogłoby dać nam gwarancję, że po raz pierwszy w dziejach na polu bitwy prawo wojenne byłoby faktycznie przestrzegane. Żołnierzem, który jest człowiekiem, kierują czasem emocje i pod ich wpływem dopuszcza się mordów, grabieży i gwałtów, naruszając tym samym prawo wojenne. Zazwyczaj kojarzymy uczucia ze współczuciem, miłością i empatią, ale w czasie wojny zdecydowanie zbyt często dochodzą do głosu takie emocje, jak strach, nienawiść i okrucieństwo. Ponieważ roboty nie mają uczuć, można będzie mieć co do nich pewność, że zawsze będą się trzymały suchego tekstu kodeksu wojskowego i nigdy nie ulegną lękowi czy nienawiści66.

Szesnastego marca 1968 roku kompania amerykańskich żołnierzy w wiosce Mỹ Lai na południu Wietnamu wpadła w szał i wymordowała mniej więcej czterystu cywilów. Do tej zbrodni wojennej doszło z inicjatywy mężczyzn, którzy od wielu miesięcy prowadzili w dżungli walkę z wietnamską partyzantką. Owa rzeź nie służyła realizacji żadnego strategicznego celu i była pogwałceniem zarówno prawa, jak i polityki wojskowej Stanów Zjednoczonych. Odpowiedzialne za nią były ludzkie emocje67. Gdyby Stany Zjednoczone wysłały do walki w Wietnamie zabójcze roboty, do masakry w Mỹ Lai by nie doszło.

Zanim jednak weźmiemy się z zapałem do tworzenia zabójczych robotów i wysyłania ich na pole bitwy, musimy sobie przypomnieć, że roboty zawsze stanowią odbicie i wzmocnienie tego, jak są zaprogramowane. Jeśli ich oprogramowanie jest powściągliwe i łagodne – roboty będą prawdopodobnie stanowiły ogromny postęp w porównaniu z przeciętnym żołnierzem. Jeśli jednak oprogramowanie będzie bezwzględne i okrutne – skutki będą katastrofalne. Prawdziwy problem z robotami polega nie na ich własnej sztucznej inteligencji, lecz raczej na naturalnej głupocie i okrucieństwie ich twórców.

W lipcu 1995 roku w okolicach miasta Srebrenica oddziały bośniackich Serbów wyrżnęły ponad osiem tysięcy muzułmańskich Bośniaków. W odróżnieniu od chaotycznej masakry w Mỹ Lai zbrodnia w Srebrenicy stanowiła długą i dobrze zorganizowaną operację, która była odzwierciedleniem prowadzonej przez bośniackich Serbów polityki „etnicznego czyszczenia” Bośni z muzułmanów68. Gdyby w 1995 roku bośniaccy Serbowie mieli zabójcze roboty, przypuszczalnie doszłoby do jeszcze gorszych potworności. Żaden z robotów nawet na moment by się nie zawahał, wypełniając wszelkie otrzymane rozkazy, nie oszczędziłby też życia ani jednemu muzułmańskiemu dziecku, powodowany uczuciem litości lub odrazy czy choćby wskutek odrętwienia.

Uzbrojony w takie zabójcze roboty bezwzględny dyktator nigdy nie będzie musiał się obawiać, że jego żołnierze zwrócą się przeciw niemu, choćby nie wiem jak bezduszne i szalone rozkazy wydawał. Armia robotów prawdopodobnie zdusiłaby rewolucję francuską w zarodku już w 1789 roku, a gdyby w 2011 roku Husni Mubarak miał oddział zabójczych robotów, mógłby rzucić go do walki przeciwko obywatelom, nie bojąc się dezercji. Prowadzące imperialistyczną politykę państwo, gdyby tylko mogło wesprzeć się armią robotów, swobodnie kontynuowałoby swoje mało popularne wśród społeczeństwa wojny, nie przejmując się tym, że maszyny nagle stracą motywację albo że ich rodziny zaczną urządzać antywojenne protesty. Gdyby Stany Zjednoczone miały zabójcze roboty podczas wojny w Wietnamie, być może zapobiegłoby to masakrze w Mỹ Lai, ale sama wojna mogłaby ciągnąć się jeszcze latami, ponieważ amerykańskie władze miałyby o wiele mniej zmartwień i nie musiałyby się borykać ze spadkiem morale u żołnierzy, masowymi demonstracjami pokojowymi czy z ruchem „robotów weteranów przeciwko wojnie”. Wprawdzie część obywateli wciąż mogłaby być przeciwna tej wojnie, ale nie istniałoby bezpośrednie zagrożenie, że zostaną na nią wysłani, że czeka ich niechybnie zespół stresu pourazowego czy że stracą w walkach kogoś bliskiego, toteż protestujących byłoby prawdopodobnie mniej i nie byliby tak zaangażowani69.

Tego typu problemy są dużo mniej istotne w wypadku autonomicznych pojazdów cywilnych, gdyż żaden producent samochodów nie będzie złośliwie programował swoich aut tak, by brały ludzi na celownik i ich rozjeżdżały. Bezzałogowe systemy uzbrojenia natomiast to wisząca w powietrzu katastrofa, ponieważ zbyt często zdarzają się rządy pod względem etycznym co najmniej zepsute, jeśli nie wręcz złe.

Niebezpieczeństwo nie ogranicza się do zabójczych maszyn. Równie groźne mogą być systemy monitoringu. W rękach łagodnych władz potężne algorytmy odpowiedzialne za obserwację obywateli mogą być najlepszą rzeczą, jaka kiedykolwiek spotkała ludzkość. Te same oparte na big data algorytmy mogą jednak również wzmocnić pozycję przyszłego Wielkiego Brata, w wyniku czego możemy dojść do opartego na inwigilacji orwellowskiego reżimu, w którym wszyscy są przez cały czas monitorowani70.

Ale może nam się przytrafić coś jeszcze gorszego – coś, czego nawet Orwell raczej sobie nie wyobrażał: reżim totalnej inwigilacji, który nie tylko śledzi wszystkie nasze zewnętrzne działania i wypowiedzi, ale gotów jest także – dosłownie – zaleźć nam za skórę i obserwować nasze wewnętrzne doznania. Zastanówcie się na przykład, co mógłby zrobić z użyciem nowych środków technicznych reżim Kima w Korei Północnej. W przyszłości każdy północnokoreański obywatel mógłby zostać zobowiązany do noszenia bransoletki biometrycznej, która kontrolowałaby wszystko, co robi i mówi – a także jego ciśnienie krwi i aktywność mózgu. Wykorzystując coraz lepsze rozumienie ludzkiego mózgu oraz ogromne możliwości uczenia maszynowego, północnokoreański reżim mógłby wiedzieć, co każdy bez wyjątku obywatel myśli w każdej bez wyjątku chwili. Jeśli u kogoś, kto spojrzy na zdjęcie Kim Dzong Una, czujniki biometryczne wychwyciłyby charakterystyczne oznaki złości (wyższe ciśnienie, wzmożoną aktywność w ciele migdałowatym) – nazajutrz rano taki człowiek znalazłby się w obozie koncentracyjnym.

Jasne, z powodu swej izolacji reżim północnokoreański może mieć kłopot z samodzielnym wypracowaniem techniki koniecznej do powstania takiego systemu. Jednak odpowiednie innowacje techniczne oraz technologie mogą zostać wynalezione i rozwinięte w bardziej zaawansowanych technicznie krajach, a następnie skopiowane lub kupione przez Koreę Północną i inne opóźnione w rozwoju dyktatury. Zarówno Chiny, jak i Rosja nieustannie udoskonalają swe narzędzia służące do inwigilacji. Podobnie postępuje zresztą także wiele państw demokratycznych, od Stanów Zjednoczonych po mój ojczysty kraj, Izrael. W nazywanym „krajem start-upów” Izraelu istnieje wyjątkowo żywotny sektor nowoczesnych technologii oraz nowatorski przemysł zajmujący się cyberbezpieczeństwem. Poza tym Izraelczycy są uwikłani w śmiertelny konflikt z Palestyńczykami i przynajmniej część izraelskich przywódców, generałów oraz obywateli zapewne z wielką radością utworzyłaby na Zachodnim Brzegu reżim totalnej inwigilacji, gdyby tylko dostała do ręki niezbędne środki techniczne.

Już dzisiaj jest tak, że ilekroć jakiś Palestyńczyk rozmawia przez telefon, wrzuca coś na Facebooka albo jedzie z jednego miasta do drugiego, z dużym prawdopodobieństwem można przyjąć, że będą go śledziły izraelskie mikrofony, kamery, drony albo oprogramowanie szpiegujące. Gromadzone w ten sposób dane są następnie analizowane za pomocą algorytmów opartych na big data. Pomaga to izraelskim siłom bezpieczeństwa lokalizować i neutralizować potencjalne zagrożenia bez konieczności wysyłania w teren dużych oddziałów wojska. Palestyńczycy sprawują wprawdzie władzę nad częścią miasteczek i wiosek na Zachodnim Brzegu, ale Izraelczycy kontrolują niebo, fale radiowe i cyberprzestrzeń. Dlatego do skutecznego nadzorowania mniej więcej dwóch i pół miliona Palestyńczyków na Zachodnim Brzegu wystarcza zadziwiająco niewielu izraelskich żołnierzy71.

W październiku 2017 roku doszło do pewnego tragikomicznego incydentu, kiedy to palestyński robotnik na swoim prywatnym profilu na Facebooku umieścił swoje zdjęcie przy pracy, pokazujące, jak stoi obok spychacza. Do zdjęcia dołączył tekst: „Dzień dobry!”. Automatyczny algorytm popełnił drobny błąd w arabskiej transliteracji. Zamiast Ysabechhum! (co znaczy poranne „Dzień dobry!”) algorytm rozpoznał te litery jako Ydbachhum! (co znaczy „Krzywdź ich!”). Podejrzewając, że ów człowiek może być terrorystą i zamierza użyć w ataku spychacza, izraelskie siły bezpieczeństwa szybko go aresztowały. Gdy zdano sobie sprawę, że algorytm popełnił błąd, niesłusznie podejrzanego mężczyznę zwolniono. Jednak kłopotliwy post na Facebooku został mimo to usunięty. Ostrożności nigdy za wiele72. To, czego zaznają dzisiaj Palestyńczycy na Zachodnim Brzegu, może być zaledwie zapowiedzią tego, czego będą ostatecznie doświadczać miliardy ludzi na całym świecie.

Pod koniec XX wieku państwa demokratyczne zazwyczaj zostawiały w tyle dyktatury, ponieważ były lepsze w przetwarzaniu danych. Demokracja rozprasza władzę przetwarzania informacji i podejmowania decyzji na wielu ludzi i wiele instytucji, podczas gdy dyktatura skupia informacje i władzę w jednym miejscu. Biorąc pod uwagę, jaką techniką dysponowano w XX wieku, to ostatnie rozwiązanie było całkowicie nieskuteczne. Nikt nie miał możliwości wystarczająco szybkiego przetwarzania wszystkich tych informacji oraz dokonywania właściwych wyborów. Jest to jeden z powodów, dla których Związek Sowiecki podejmował dużo gorsze decyzje niż Stany Zjednoczone, a sowiecka gospodarka była nieporównywalnie słabsza.

Niebawem jednak sztuczna inteligencja może diametralnie zmienić sytuację. SI umożliwia centralne przetwarzanie ogromnych ilości informacji. Co więcej, może ona sprawić, że scentralizowane systemy będą znacznie skuteczniejsze niż systemy rozproszone, ponieważ uczenie maszynowe działa tym lepiej, im więcej informacji może analizować. Jeśli skupia się w jednej bazie danych wszystkie informacje odnoszące się do miliarda ludzi, nie biorąc pod uwagę żadnych kwestii związanych z poszanowaniem prywatności, można znacznie lepiej szkolić algorytmy niż wówczas, gdy szanuje się prawo do prywatności i ma się w bazie danych jedynie częściowe informacje na temat miliona ludzi. Gdyby na przykład jakiś despotyczny rząd nakazał swoim obywatelom zbadanie swojego DNA oraz udostępnienie wszystkich danych medycznych jakiejś centralnej instytucji, zyskałby ogromną przewagę w genetyce i badaniach medycznych nad społeczeństwami, w których dane medyczne są sprawą ściśle prywatną. Główny mankament autorytarnych reżimów w XX wieku – próba skupienia wszystkich informacji w jednym miejscu – mógłby się stać ich decydującym atutem w XXI wieku.

Gdyby algorytmy znały nas tak dobrze, autorytarne rządy mogłyby zyskać absolutną władzę nad swymi obywatelami, większą nawet niż w nazistowskich Niemczech, a opór wobec takich reżimów mógłby być całkowicie niemożliwy. Taki reżim nie tylko wiedziałby dokładnie, co każdy z nas czuje, lecz także mógłby sprawić, że nasze uczucia byłyby zgodne z tym, czego chcą władze. Dyktatorzy być może nie byliby w stanie zapewnić swym obywatelom opieki zdrowotnej i równości, ale mogliby sprawić, że poddani by ich kochali – i nienawidzili ich przeciwników. Demokracja w swej obecnej postaci może nie przetrwać rewolucji biotechnologicznej i technologii informacyjnej. Albo demokracja skutecznie znajdzie na siebie inny pomysł i przybierze radykalnie nową postać, albo ludzie zaczną żyć w „cyfrowych dyktaturach”.

Nie będzie to powrót do czasów Hitlera i Stalina. Cyfrowe dyktatury będą się różnić od nazistowskich Niemiec tak bardzo, jak nazistowskie Niemcy różniły się od Francji z okresu ancien régime’u. Ludwik XIV był despotą i zwolennikiem centralizmu, nie miał jednak środków technicznych, które pozwoliłyby mu stworzyć nowoczesne państwo totalitarne. Nikt nie sprzeciwiał się jego panowaniu, jednak wobec braku radia, telefonu i kolei żelaznej miał niewielką kontrolę nad codziennym życiem chłopów w odległych bretońskich wioskach, a nawet mieszczan w samym sercu Paryża. Nie miał ani woli, ani zdolności, by zakładać jakąś masową partię, tworzyć ogólnokrajowy ruch młodzieżowy czy ustanawiać państwowy system edukacji73. Tym, co Hitlerowi dało zarówno motywację, jak i dodatkowe możliwości, były nowe technologie XX wieku. Nie jesteśmy w stanie przewidzieć, jakie będą motywacje i możliwości cyfrowych dyktatur w 2084 roku, ale jest bardzo mało prawdopodobne, by po prostu kopiowały dzieło Hitlera i Stalina. Tych, którzy sądzą, że przyjdzie im toczyć bitwy takie jak te z lat trzydziestych, może zaskoczyć atak z całkiem innej strony.

Nawet gdyby demokracji udało się przystosować i przetrwać, mogą się w niej pojawić nowe formy ucisku i dyskryminacji. Już dzisiaj coraz więcej banków, korporacji i instytucji używa algorytmów do analizowania danych oraz podejmowania decyzji, które nas dotyczą. Gdy starasz się o pożyczkę w banku, może się zdarzyć, że twój wniosek rozpatrzy algorytm, a nie człowiek. Algorytm analizuje mnóstwo danych na twój temat oraz statystyki dotyczące milionów innych ludzi, po czym decyduje, czy jesteś wystarczająco wiarygodna, by bank udzielił ci pożyczki. Często algorytm spisuje się lepiej niż bankier. Problem polega jednak na tym, że jeśli algorytm dyskryminuje pewnych ludzi, traktując ich niesprawiedliwie, trudno w ogóle to stwierdzić. Jeśli bank odmówi udzielenia ci pożyczki, a ty zapytasz: „Dlaczego?”, usłyszysz w odpowiedzi, że to algorytm nie wyraził zgody. Spytasz: „Dlaczego algorytm się nie zgadza? Co jest ze mną nie tak?”, a bank odpowie: „Nie wiemy. Żaden człowiek nie rozumie tego algorytmu, ponieważ opiera się on na zaawansowanym uczeniu maszynowym. Ale ufamy swemu algorytmowi, dlatego nie udzielimy pani pożyczki”74.

Gdy dyskryminowane są całe grupy, na przykład kobiety albo czarnoskórzy, mogą się zorganizować i przeciwko temu protestować. Teraz jednak algorytm może dyskryminować ciebie osobiście, a ty nie będziesz miała pojęcia, dlaczego tak się dzieje. Być może w twoim DNA albo w twojej osobistej historii na facebookowym profilu algorytm znalazł coś, co mu się nie podoba. Algorytm dyskryminuje cię nie dlatego, że jesteś kobietą albo Afroamerykanką – ale dlatego, że jesteś sobą. Jest w tobie coś, co nie podoba się algorytmowi – jakaś konkretna rzecz. Nie wiesz, co to takiego, a nawet gdybyś wiedziała, nie mogłabyś zorganizować wspólnego protestu z innymi ludźmi, ponieważ nie ma nikogo, kto padłby ofiarą uprzedzenia dokładnie z tego samego powodu. Jesteś tylko ty. Zamiast zwykłej zbiorowej dyskryminacji w XXI wieku możemy stanąć w obliczu narastającego problemu dyskryminacji indywidualnej75.

Prawdopodobnie na najwyższych szczeblach władzy mimo wszystko pozostawimy ludzi: będą to figuranci dający nam złudzenie, że algorytmy są tylko doradcami, a najwyższa władza wciąż znajduje się w ludzkich rękach. Nie będziemy mianowali sztucznej inteligencji kanclerzem Niemiec ani dyrektorem generalnym Google’a. Jednakże decyzje podejmowane przez kanclerza i dyrektora generalnego będzie kształtowała SI. Kanclerz nadal będzie mógł wybierać między różnymi możliwościami czy scenariuszami działań, ale wszystkie te opcje będą wynikiem analizy big data i będą bardziej odzwierciedleniem tego, jak widzi świat sztuczna inteligencja, niż jak patrzą na niego ludzie.

By podać analogiczny przykład: dzisiaj politycy na całym świecie mogą wybierać spośród wielu różnych wariantów polityki gospodarczej, ale niemal we wszystkich wypadkach te rozmaite jej odmiany znajdujące się w ofercie stanowią odzwierciedlenie kapitalistycznego poglądu na ekonomię. Politycy mają złudzenie wyboru, ale naprawdę ważne decyzje zostały podjęte dużo wcześniej przez ekonomistów, bankierów i przedsiębiorców, którzy określili te różne opcje w menu. W ciągu paru dziesięcioleci politycy mogą znaleźć się w sytuacji, gdy będą wybierali z menu napisanego dla nich przez SI.

Sztuczna inteligencja i naturalna głupota

Dobra wiadomość jest taka, że przynajmniej w ciągu najbliższych paru dziesięcioleci nie będziemy jeszcze mieli do czynienia z prawdziwym koszmarem rodem z science fiction, kiedy to sztuczna inteligencja zyskałaby świadomość i decydowała o tym, czy ludzkość zniewolić, czy zmieść z powierzchni ziemi. Będziemy coraz bardziej polegać na algorytmach, które będą podejmowały za nas decyzje, jest jednak mało prawdopodobne, by zaczęły świadomie nami manipulować. Nie będą miały żadnej świadomości.

Science fiction na ogół myli inteligencję ze świadomością i zakłada, że po to, by dorównać ludzkiej inteligencji lub ją przewyższyć, komputery będą musiały rozwinąć świadomość. Fabuła prawie wszystkich filmów i powieści na temat SI koncentruje się wokół magicznej chwili, w której jakiś komputer albo robot zdobywa świadomość. W tym momencie zwykle pojawia się kilka możliwości: albo ludzki bohater zakochuje się w robocie, albo robot próbuje zabić wszystkich ludzi, albo obie te rzeczy zdarzają się jednocześnie.

W rzeczywistości jednak nie ma powodu, by zakładać, że sztuczna inteligencja zyska świadomość, ponieważ inteligencja i świadomość to zupełnie różne rzeczy. Inteligencja to zdolność rozwiązywania problemów. Świadomość to zdolność odczuwania takich stanów, jak ból, radość, miłość i złość. Na ogół mylimy te dwa pojęcia, ponieważ u ludzi oraz innych ssaków inteligencja idzie w parze ze świadomością. Ssaki rozwiązują większość problemów dzięki odczuwaniu różnych rzeczy. Komputery rozwiązują problemy w zupełnie inny sposób.

Istnieje po prostu wiele różnych dróg prowadzących do wysokiej inteligencji, a tylko niektóre z nich wiążą się z zyskaniem świadomości. Podobnie jak samoloty latają szybciej od ptaków, mimo że nigdy nie wykształciły piór, tak samo komputery mogą znacznie szybciej i skuteczniej rozwiązywać problemy niż ssaki, mimo że nigdy nie rozwinęły uczuć. To prawda, sztuczna inteligencja będzie musiała poprawnie analizować ludzkie uczucia, aby leczyć ludzkie choroby, wykrywać terrorystów, rekomendować ludziom partnerów i kierować pojazdem po ulicy pełnej pieszych. Ale będzie mogła to robić bez konieczności posiadania jakichkolwiek własnych uczuć. Algorytm nie musi odczuwać radości, złości ani strachu, aby rozpoznawać różne biochemiczne wzorce radosnych, rozzłoszczonych czy przestraszonych małp człekokształtnych.

Oczywiście nie jest absolutnie niemożliwe, by SI rozwinęła własne uczucia. Wciąż nie wiemy wystarczająco dużo na temat świadomości, by być tego pewnym. Ogólnie rzecz biorąc, są trzy możliwości, które musimy brać pod uwagę:

1. Świadomość wiąże się jakoś z biochemią organiczną – w taki sposób, że nigdy nie będzie możliwe stworzenie świadomości w systemach nieorganicznych.

2. Świadomość nie wiąże się z biochemią organiczną, lecz z inteligencją – w taki sposób, że komputery mogłyby rozwinąć świadomość, a będą m u s i a ł y to zrobić, jeśli mają przekroczyć pewien próg inteligencji.

3. Nie istnieją konieczne związki między świadomością i biochemią organiczną albo wysoką inteligencją. A zatem komputery mogą rozwinąć świadomość – ale nie w sposób konieczny. Mogłyby stać się superinteligentne, a jednocześnie nie mieć żadnej świadomości.

Przy obecnym stanie wiedzy nie możemy wykluczyć żadnej z tych możliwości. Jednak właśnie dlatego, że tak mało wiemy o świadomości, wydaje się rzeczą mało prawdopodobną, byśmy w najbliższym czasie umieli programować świadome komputery. A zatem mimo ogromnej siły sztucznej inteligencji jej użytkowanie w dającej się przewidzieć przyszłości nadal będzie w jakimś stopniu zależało od ludzkiej świadomości.

Niebezpieczeństwo polega na tym, że jeśli za dużo wysiłku będziemy wkładać w rozwijanie sztucznej inteligencji, a za mało w rozwijanie ludzkiej świadomości, to wówczas niezwykle zaawansowana SI komputerów mogłaby służyć tylko wzmacnianiu naturalnej głupoty ludzi. Jest mało prawdopodobne, byśmy w najbliższych dziesięcioleciach mieli stawiać czoło buntowi robotów, ale być może czeka nas starcie z chmarami botów, które będą umiały wywoływać w nas emocje lepiej niż rodzona matka i wykorzystywać tę niezwykłą zdolność do sprzedawania nam najrozmaitszych rzeczy: samochodów, polityków albo i całych ideologii. Te boty będą umiały rozpoznawać nasze najgłębsze lęki, niechęci i pragnienia oraz wykorzystywać tę możliwość wpływania na nas od wewnątrz przeciwko nam samym. Mieliśmy już przedsmak czegoś takiego podczas najnowszych wyborów i referendów organizowanych na całym świecie, kiedy hakerzy wpadli na to, jak oddziaływać na poszczególnych wyborców dzięki analizowaniu dotyczących ich danych oraz podsycaniu tkwiących w nich uprzedzeń76. Podczas gdy thrillery science fiction zmierzają zwykle do dramatycznej apokalipsy, ognia i dymu, w rzeczywistości może będzie tak, że czeka nas banalna apokalipsa klikania.

By tego uniknąć, mądrze by było, żeby na każdego dolara i na każdą minutę, które inwestujemy w doskonalenie sztucznej inteligencji, poświęcać dolara i minutę na rozwijanie ludzkiej świadomości. Niestety, nie robimy dziś zbyt wiele, by badać i rozwijać ludzką świadomość. Badamy i rozwijamy ludzkie zdolności głównie w związku z najpilniejszymi potrzebami systemu ekonomicznego i politycznego, nie zaś stosownie do naszych własnych długofalowych potrzeb jako świadomych istot. Szef każe mi jak najszybciej odpowiadać na e-maile, ale niespecjalnie go obchodzi moja zdolność smakowania tego, co jem. Wskutek tego sprawdzam e-maile nawet podczas posiłków, tracąc jednocześnie zdolność zwracania uwagi na własne doznania. Naciski wywierane na mnie przez system ekonomiczny każą mi poszerzać i dywersyfikować własny portfel inwestycyjny, ale nie stanowią dla mnie żadnej motywacji, bym poszerzał i dywersyfikował swe współczucie. Dlatego staram się zgłębiać tajniki giełdy papierów wartościowych, a jednocześnie znacznie mniej wysiłku wkładam w zrozumienie głębokich przyczyn cierpienia.

Ludzie są więc podobni do innych udomowionych zwierząt. Wyhodowaliśmy uległe krowy, które produkują ogromne ilości mleka, ale pod innymi względami są zdecydowanie gorsze od swych dzikich przodków, mniej zwinne i mniej zaradne77. Teraz tworzymy potulnych ludzi, którzy produkują ogromne ilości danych i działają jak bardzo skuteczne chipy w ogromnym mechanizmie ich przetwarzania, ale trudno powiedzieć, by te informatyczne krowy maksymalizowały ludzki potencjał. Nie mamy wręcz pojęcia, czym jest pełny ludzki potencjał, ponieważ tak mało wiemy o ludzkim umyśle. Mimo to niewiele wysiłku wkładamy w jego badanie, a zamiast tego skupiamy się na zwiększaniu prędkości połączeń internetowych oraz skuteczności algorytmów opartych na big data. Jeśli nie będziemy uważać, dojdziemy do sytuacji, w której zdowngrade’owani ludzie będą nadużywać zupgrade’owanych komputerów, dokonując spustoszeń w samych sobie i w świecie.

Cyfrowe dyktatury nie są jedynym czyhającym na nas niebezpieczeństwem. Oprócz wolności liberalny porządek ogromnie szanuje też wartość, jaką jest równość. Liberalizm zawsze wysoko cenił równość polityczną, a stopniowo zdał sobie sprawę, że niemal tak samo ważna jest równość ekonomiczna. Bez zabezpieczeń społecznych oraz odrobiny równości ekonomicznej wolność bowiem nic nie znaczy. Ale tak jak algorytmy oparte na big data mogą wymazać wolność, mogą zarazem przyczynić się do powstania największych nierówności społecznych, jakie kiedykolwiek istniały. Całe bogactwo i cała władza mogą się skupić w rękach wąskiej elity, podczas gdy większość ludzi będzie cierpiała nie z powodu wyzysku, lecz z powodu czegoś znacznie gorszego – z powodu braku znaczenia.