Sunday, November 22

Pandemi Teknolojisinden Dijital Otoriterleşmeye mi? – Hacer Ansal

Hacer Ansal
IstanbuLab / Işık Üniversitesi, İnsan ve Toplum Bilimleri (Emekli)
Güncel Teknolojiler ve Siyaset (VI)

Makine Mühendisleri Odası’nın geçtiğimiz Haziran ayında dördüncüsünü düzenlediği teknoloji söyleşilerinin konuğu IstanbuLab üyelerinden Prof. Dr. Hacer Ansal’dı. Konuşmasında, Covid-19 pandemisiyle birlikte sağlık güvenliği gibi bir meşruiyet zeminine oturtulmaya çalışılan dijital teknolojilerin olası tehlikelerini irdeleyen Ansal, bu teknolojilerin, devletlerin otoriterleşme süreçleri ile olan ilişkisine de dikkat çekiyor. Bu ilişki üzerine düşünmek, sadece gittikçe daralan özel alanlarımızın iktidarların hükmetme kapasitesini genişletmesi bakımından değil, pandemi çatlağından hayatlarımıza sızan bu teknolojilerin kalıcı hale gelebilecek olması açısından da büyük önem arz ediyor. Pandemi üzerine yapılan spekülasyonları bir tarafa bırakıp yüzümüzü hayatlarımıza hızla yerleşmekte olan dijital teknolojilere çevirmeye davet eden bu konuşmayı IstanbuLab Blog okuyucularıyla paylaşıyoruz. Keyifli okumalar!

Corona virüsü salgını nedeniyle, iktidarların çok farklı yöntemlerle toplumların yaşamını ve ölümünü yönetişini izliyoruz… Salgınla mücadelede devletlerin otoritesini yaşamın her alanında çok daha fazla gösteriyor olması, insanlarda bu otoriterleşmenin kalıcı olma endişesini de ortaya çıkarıyor doğal olarak… Ben de bu yazıda, spesifik olarak Corona pandemisi ile mücadelede, acil durum önlemleri bağlamında kullanılan teknolojilerden başlayarak, hem kalıcı hale gelebilecek bu teknolojilerin hem de pandemi teknolojileri dışında da ortaya çıkan bazı teknolojik gelişmelerin barındırdıkları otoriterleşme ya da anti-demokratik kullanım tehlikesine değinmek istiyorum…

İnsanları otoriterleşme konusunda endişeye sevk eden şeylerin başında, başta Çin, Güney Kore, İsrail olmak üzere, çeşitli ülkelerde Corona virüsü pandemisi ile mücadele sırasında kullanılan teknolojiler geliyor. Aslında bu teknolojiler salgına bağlı olarak, hemen geliştirilmedi tabii. Aksine bunlar, daha önce geliştirilmiş fakat insan haklarını ve mahremiyeti ihlal etmeleri nedeniyle açıktan uygulamalarına izin verilmeyen ya da iktidarların daha önce uygulamaya cesaret edemedikleri, bazen de yeterli olgunluğa ulaşmamış olan teknolojiler.

Fakat pandemi ile birlikte, bu teknolojilerin, deyim yerinde ise, önündeki takozların kalktığını ve büyük bir hızla çeşitli ülkelerde hizmete sokulduklarını görüyoruz. Virüs ile mücadelede kullanılan bu teknolojilerin günlük hayatın bir parçası haline gelmesine ve insanların mahremiyetini ilelebet zedelemesine yönelik endişelerin yanında, otoriter rejimler tarafından bir fırsata dönüştürülerek bir baskı aracı olarak kullanılma ihtimali de çok ciddi bir tehlike olarak karşımızda duruyor. Örnek olarak, pandemi mazereti ile Çin Hükümeti muazzam bir gözleme/izleme sistemi kurmuş durumda ve malum olduğu üzere, Çin genel olarak, kişilerin, kişisel bilgi ya da veri mahremiyetinin vazgeçilmez bir hak olduğunu teslim eden bir ülke olarak tanınmıyor….

Öncelikle, pandemi sırasında kullanılan teknolojilerden, sağlık sensörleri ve akıllı telefon uygulamalarından  başlarsak, Çin hükümeti,  AliBaba ve Tencent gibi Çin teknoloji devleri ile işbirliği içinde milyonlarca insanı sürekli olarak, günlük takip edebilmek için gayet karmaşık ve bayağı da maliyeti yüksek bir sistemden, renk kodlu bir sağlık derecelendirme sisteminden yararlanıyor. Aslında bu karmaşık bir gözetleme ya da izleme ağından başka bir şey değil.  Bu sistemde, insanlara, seyahat geçmişine, sağlık bilgilerine, salgın bölgelerinde ne kadar zaman geçirdiklerine, potansiyel olarak virüs taşıyanlarla temasa geçip geçmediklerine göre; yeşil, sarı ve kırmızı olarak bir renk kodu tayin ediliyor. Bir kişinin karantinada kalmasına ya da dışarı çıkabilmesine, halk arasına karışabilmesine veya araç kullanmasına bu renk kodlarına göre izin veriliyor.  Bunun için her yurttaş, AliBaba’nın geliştirdiği akıllı telefon uygulamalarını, ücret ödeyerek  telefonlarına indirmek ve kullanmak zorunda. Metro istasyonlarında ve diğer birçok yerdeki kontrol noktasında, insanların bu renk kodları ve vücut ısıları sürekli kontrol ediliyor. Bu teknoloji, ilk defa Hongzhou şehrinde kullanılmaya başlanmış, sonra büyük bir sanayi bölgesinde uygulamasına geçilmiş, daha sonra da kullanım alanı daha da genişletilerek, 200’den fazla şehre yayılmış.

Benzer şekilde, Çin hükümeti halka “Close Contact Detector” – Yakın Temas Detektörü adında bir telefon uygulaması da sunmuş. Bu uygulamayı kullanan kişi, kişisel bilgilerini girdiğinde, bir QR kodu taratarak virüslü biriyle temasa geçip geçmediğini ve ne derecede risk altında olduğunu kontrol edebiliyormuş.

Diğer bir pandemi teknolojisi ise satelit izleme teknolojisi. İkinci nesil yapay zeka ile güçlendirilmiş bu satelitlerin/uyduların gayet güçlü bir işlem ve analiz kapasitesi var. Bunlar vasıtasıyla, virüs taşıyıcılığı tespit edilen insanların kaç kişiyle, kimlerle temas ettiğini, bunların yaklaştığı insanlara olan mesafesinin ne kadar olduğu gibi bilgiler tespit edilebildiği gibi, enfekte kişilerin hareketleri ve kendilerini ne derece izole ettikleri de izlenebiliyormuş.

WhatsApp gibi, Çin’de popüler bir mesajlaşma uygulaması olan WeChat’in de veri toplamakta kullanıldığı ileri sürülüyor. Bu uygulamayla, mesela virüslü olduğu tespit edilen bir hasta, son 10 günde WeChat parası ile veya AliPay gibi bir kartla ödeme yaptığında, mesela diyelim, marketten bisküvi aldı ise, kasada onunla temasa geçen kişiye derhal kendini karantinaya alması yönünde bir uyarı mesajı gönderilebiliyor.

Diğer yandan Çin Telekom şirketi, China Mobile, virüs tespit edilen kişilerle ilgili çeşitli detayları -mesela o kişinin seyahat bilgilerini; hangi tren, metro ya da otobüse bindiğini; ne zaman, nerede, hatta hangi koltukta oturduğuna kadar detay içeren mesajları- sosyal medyada paylaşıyor. Böylece hasta ile yakın temasa geçmiş kimselerin kendilerini hemen karantinaya almaları mümkün olabiliyor.

Pandemi ile mücadelede kullanılan bir başka teknoloji ise, dronelar. Dronelar önce çok sayıda insanın enfekte olduğu ve virüse yakalanma riskinin yüksek olduğu bölgelerde, sağlık ekipmanı, acil tıbbi malzeme ve Corona virüs testi numunelerini taşımada zaman kazanmak için kullanılmış. Ayrıca, dronelar kırsal alanları dezenfekte etmek için de çok işe yaramış. Fakat daha sonra yüz tarama programları ile güçlendirilmiş ve enfekte hastaların ya da karantinadaki insanların evlerinden dışarı çıkmalarını engellemek için, hatta maske takmayanları uyarmak azarlamak için işe koşulmuş.

Droneların yanı sıra, Çin’de karantina bölgelerinde halkın dışarı çıkmasını engellemek için milyonlarca kamera yerleştirildiği de biliniyor. Tüm ülkede yerleştirilen kamera sayısının 200 milyonu aştığı rapor edilmiş durumda.

SenseTime adlı Çin yapay zeka şirketinin çok özel bir yüz tarama teknolojisi geliştirdiği ve bunun sayesinde insanların maskeli dahi olsalar yüzlerini gayet kesin bir şekilde saptayabildiği de yazılanlar arasında…

Çin’in, kullandığı çeşitli araçlar sayesinde çok geniş bir veri tabanına sahip olduğu, bu sayede de yapay zeka teknolojisi alanında çok gelişmiş olduğu biliniyor. Bu büyük verinin analizi ve tahmin modelleri sayesinde, Çinli araştırmacılar, pandemi sürecinde hastalıkları ve virüs yapısını görece çabuk çözebilmişler. Örneğin, Çin internet devi Baidu’nun, geliştirdiği bir algoritmayı, salgına karşı mücadele eden ekiplerin kullanımına açtığı ve bu algoritmanın diğerlerinden çok daha hızlı bir şekilde virüsün DNA yapısını, Mutasyon özelliklerini vs. ortaya çıkarmada çok yararlı olduğu ifade ediliyor.

Ayrıca, Baidu şirketi yapay zeka ile güçlendirilmiş kızılötesi bir sistem de geliştirmiş. Bu sistem, insanların vücut ısısını çok hızlı bir şekilde tespit edebildiği için, çok büyük kalabalıklar etkin bir şekilde taranabiliyormuş. Bu aletler, özellikle büyük şehirlerin büyük tren istasyonlarına yerleştirilerek, potansiyel enfekte insanları saptamakta kullanılmış. İnsanlar bu kızılötesi sistemin önünden geçerken vücut ısıları bir panoda beliriyormuş. Bu kızılötesi sistem sayesinde insanların trafik akışı engellenmeden, herhangi  bir sıkışıklığa/tıkanmaya meydan vermeden, dakikada 200 kişiye kadar insanın kontrol edilebildiği ileri sürülüyor…

Kendisiyle pandemi sırasında görüşme yapılan, panoyu takip etmekle görevli bir istasyon yetkilisi bir yolcunun ateşinin 37.8 derece olarak tespit edildiği bir örneği anlatıyor: Yolcu hemen ayrı bir odaya alınıyor; ateş bir süre düşmez ise sağlık yetkililerine haber veriliyor. Eğer yolcu virüs ile enfekte çıkarsa, durum ulaştırma yetkililerince yolculuk yaptığı vagondaki herkese mesajla bildiriliyor.

Yine Baidu teknoloji devinin geliştirdiği Apollo adlı otonom/ sürücüsüz araçlar pandemi sürecinde büyük hastanelere tıbbi malzeme, gıda vs. gibi tedarik malzemeleri taşımak için kullanılmış. Bir de, Çin’de cadde/yol temizliğinde kullanılan elektrikli/ sürücüsüz araçları üreten bir başka şirketin ürünü I driverplus da misyonun bir parçası olarak hastaneleri dezenfekte etmek için hizmete girmiş.

Diğer yandan, AliBaba’nın, Cloud temelli geliştirdiği, bir Corona virüs teşhis aleti, % 96 hassasiyetle, 20 saniyeden az bir sürede virüsü tespit edebildiği gibi virüsün izini de sürebiliyormuş.

Pandemi sürecinde Çin’de yoğun biçimde kullanılan bir başka teknoloji ise robotlar. Robotlar, hastanelerde yemek hazırlama; odalara tıbbi malzeme, ilaç, yemek taşıma; el dezenfektanı dağıtımı yapma ve dezenfektanla etrafı spreyleme gibi çok çeşitli işlerde kullanılmış. Robotların bazı hastanelerde ısı, nabız, tansiyon ölçme ve hatta hastalara teşhis koyma işlemlerinde dahi kullanıldığı da söyleniyor. Dahası, Wuhan’da sadece robotların çalıştığı bir hastanede, bulut (cloud) teknolojisi temelli bir robotik sistem projesi ile hastane tamamen dijital hale getirilmiş, yani akıllı hastane olmuş. Hastanedeki aletlerin tümü nesnelerin interneti (internet of things) sistemi ile birbirine bağlanmış  ve hizmetlerin tümü robotlar tarafından görülüyormuş. Hastalara ilk tetkik 5G termometrelerle yapılıyor ve sonra hastalara takılan CloudMinds -yapay zeka platformuna bağlı yüzükler veya bilezikler- vasıtasıyla insanların vücudundaki değişiklikler sürekli takip edilebilir hale geliyormuş. CloudMinds’ın sadece hastanelerde çalıştırılmak üzere 100 tane robot ürettiği söyleniyor.

Evet, kısaca Çin’de pandemi ile mücadelede kullanılan teknolojiler bunlar…

Ama, aslında yalnız Çin değil,  pandemi sırasında bir çok hükümetin bu tür kitlesel izleme/gözleme/denetleme teknolojilerini kullanmaya başladıklarını biliyoruz. Mesela Taiwan daha salgının başında son derece detaylı bir haritalama teknolojisi ile, kimin kimle temas ettiğini tespit ederek, virüsün bulaşma hızını kesebilmiş. Bunun yanı sıra, itaat edilmesi zorunlu hale getirilen, 124 tane geçici yasa çıkarmış ve bunlara uymayanlara, hapis cezasından  100 bin dolarlık para cezasına kadar ciddi yaptırımlar uygulamış. Ama sadece Asya’ya özgü bir uygulamalar değil bunlar, mesela Netanyahu, İsrail’de normalde güvenlik teşkilatının terör ile mücadele için kullanıldığı söylenen bir denetim teknolojisinin pandemi ile mücadele için de kullanılmasına izin vermiş.

Diğer yandan, Avustralya, ABD, Singapur, Polonya akıllı telefonlarla izleme işlemini sürdüren ülkelerden bazıları. Global Telekom şirketlerinin bütünsel bir altyapı ile veri paylaşımı yapma planlarının gündemde olduğu söyleniyor. Ayrıca, Facebook, Google gibi batılı teknoloji devlerinin de kullanıcılarla ilgili her türlü bilgiyi depoladığı biliniyor. Kısacası, İnsanlık tarihinde ilk kez teknoloji herkesin, her zaman izlenmesini, mümkün kılıyor diyebiliyoruz.

Aslında pandemi öncesinde de sosyal medya hesapları, ortam dinlemeler, kredi kartı harcamaları aracılığıyla devletlerin insanların her adımını takip edebildiklerini biliyor, buna şahit oluyorduk. Peki, o zaman ne değişti, diyebilirsiniz ama pandemi ile birlikte kitlesel izleme/ denetleme tarihinde çok önemli bir eşiğe gelindiğini de göz ardı edemeyiz. Mesela; Sapiens ve 21. Yüzyıl için 21 Ders adlı kitapların ünlü yazarı Yuval Harari: “eğer dikkatli olmazsak ya da hiçbir şey yapmazsak, gözetim/denetim tarihinde çok önemli bir eşik atlanmış olacak, böylece şimdiye kadar denetimin reddedildiği ülkelerde dahi, kitle denetim araçlarının normalleşmesi sağlanmış olacak” diyor. Ve bununla da kalmayarak şimdiye kadar “deri üstü” olan denetimden, “deri altı” denetime doğru dramatik bir dönüşümün gerçekleşebileceğini de ekliyor..  

Nitekim, Harari’nin denetimin “deri altına” geçme olarak tabir ettiği durum, İsveç ve Amerika’da deri altına yerleştirilen birkaç milimetrelik mikroçiplerin uygulamaya sokulmasıyla gerçek oldu bile. Bu mikroçiplerin, Amerika’daki bir uygulaması ile ilgili izlediğim bir videoda sağ elin baş parmaği ile işaret parmağı arasına yerleştirildiklerini gördüm. Böylece insanlar hiçbir yere dokunmadan kapıları açabiliyorlar, asansörleri hareket ettirebiliyorlar ve her yerde kart kullanmadan ödeme yapabiliyorlar. Amerika’da FDA’nin (Food and Drug Administration) onayını da almış bu mikroçip yerleştirme işlemi. Özellikle Corona virüsünün paralarda ve kredi kartlarında günlerce yaşadığı ileri sürülerek, “cashless society” (nakit parasız toplum) sloganı eşliğinde beş yıl içinde toplumun büyük bir çoğunluğunda bu mikroçip yerleştirmenin gerçekleştirileceği iddia ediliyor. Bu işlemin, insan hakları ve mahremiyet açısından yol açacağı tehlikeye işaret etmek için bu yerleştirme işine “içimizdeki canavar” diyerek karşı çıkanlar varsa da şimdilik bu sesler oldukça cılız gibi duruyor.

Harari’ye göre, bu tür denetim teknolojileri çok büyük bir hızla ilerliyor, Amerika’da veya İsveç’te olduğu gibi insanlar buna gönüllü olarak rıza gösterebiliyorlar, ya da Çin’de olduğu gibi, bir hükümet yurttaşlarının biometrik bir bilezik takmasını zorunlu kılabiliyor; böylece günde 24 saat kişilerin ateşini, nabzını, tansiyonunu izleyebiliyor ve bu verileri algoritmalarla analiz edebiliyor. Bu algoritmalar hastalandığınızı sizden önce bileceği gibi, nerelere gittiğinizi, kimlerle görüştüğünüzü de bilebilecek. Salgın durumunda bu, büyük bir kolaylık sağlıyor: bulaşma zinciri dramatik bir şekilde kısaltılabiliyor ve salgın kısa bir zamanda kontrol altına alınabiliyor. İşte tam da sağladığı bu kolaylık, bu ürkütücü denetim sistemine meşruiyet sağlama tehlikesi içeriyor.  

Yani, asıl sorun, pandemi sonrası ne olacak sorusu… Salgın nedeniyle rıza gösterilen,  bu ekstrem denetim,  biyometrik gözetim, bu geniş kapsamlı veri toplama işi ve elde edilmiş olan depolanmış veri, acil durum sona erdiğinde ne olacak?..

Bu denetim / gözetim sistemlerinin mevcut totaliter devletlerin çok  işine yarayacağı açık, ama bunlar yeni totaliter rejimlerin ortaya çıkmasına da neden olabilir. Bu tip biyometrik gözetim sistemleri ile, gelecekte insanların ne düşündüklerini, ne hissettiklerini görmeye/ izlemeye çalışan totaliter rejim unsurlarında hızlı bir gelişme görülme tehlikesi çok ciddi. Çünkü, Harari’ye göre, bu teknolojiler yüzünden “her birimiz her yeri kaplayan  sayısız örümcek ağına yakalanmış vaziyetteyiz. Bu ağlar hareketlerimizi sınırlamakla kalmıyor, en ufak bir kıpırdanışımızı bile çok uzak mesafelere iletebiliyor”. Harari’nin bu konuda önemle vurguladığı bir başka nokta da, tehditin yalnız bilişim ya da yapay zeka teknolojisinin yükselişine değil, “bilişim teknolojileriyle biyoteknolojinin yarattığı ikili devrim”e bağlı olduğu. Çünkü, “biyoteknoloji ile bilgi teknolojilerinin kaynaşması kısa süre sonra milyonlarca insanı iş dünyasının dışına itebilir ve özgürlükleri ve eşitliği ciddi ölçüde sarsabilir[1]

Evet, hayatımızın kontrolünü kaybetmek gerçekten çok ürkütücü bir senaryo… Ama, otoritenin insanlardan algoritmalara geçmesi gibi çok ciddi bir tehlike daha var ki bu da dijital diktatörlüklerin önünü açabilecek bir tehlike. Geçtiğimiz yıllarda, sinir bilim ve davranışsal ekonomi gibi alanlarda yürütülen, insanların nasıl tercih yaptıklarına yönelik çeşitli araştırmalar da bu tehlikenin boyutlarını gösteriyor. Harari’nin dediğine göre, “ne yiyeceğimizden tutun da, kiminle çiftleşeceğimize kadar verdiğimiz tüm kararların, özgür irademize değil, olasılıkları bir salisede hesaplayan milyarlarca nörona bağlı olduğu ortaya çıkarılmış…Yani insan beyni biyokimyasal algoritmalarla çalışıyor...Duygu ve arzularımız aslında biyokimyasal algoritmalardan ibaret ise, bilgisayarların bu algoritmaları deşifre edememesi için hiç bir sebep yok…Yapay zeka sadece insanları hackleyip şimdiye kadar insanlara mahsus sayılan becerilerde onlardan daha iyi performans sergilemekle kalmayıp, onların duygu ve arzularını yönlendirebilir de…” [2]

Yani yapılan çalışmalar gösteriyor ki, duygularımız esrarengiz fenomenler değil, biyokimsayal bir sürecin sonucunda ortaya çıkıyorlar. Algoritmalar, beden üzerindeki ve içindeki sensörlerden iletilen biyometrik verileri alıp, kişilik tipinizi ve haletiruhiyenizi analiz ederek, neyin sizi nasıl ve ne kadar etkilediğini hesaplayabilecekler. Örneğin, Fox TV  ya da Halk TV yerine bir yandaş medya kanalına geçtiğinizde ya da bir video izlerken kalp atışlarınız, tansiyonunuz sürekli izleniyorken  sizin politik yönelimleriniz, neye gülüp, neye kızdığınız, neye ağladığınız bu denetim teknolojisi ile takip edilebilir olabilecek. Çünkü kızgınlık, eğlenme, mutluluk, can sıkıntısı, aşk, sevgi aslında hepsi biyolojik olaylar…dolayısıyla teknoloji ateşimizi, öksürüğümüzü saptayabiliyorsa, neye kızdığımızı, neyi beğendiğimizi de belirleyebilecek. Bu kitle biyometrik verilerin analizlerinin denetimini yapan mercilerin/hükümetlerin/ korporasyonların bizi bizden daha iyi bilme şansına da sahip olacakları ve hislerimizi sadece anlamakla kalmayıp onları manipüle edebilecekleri anlamına geliyor. Bununla ilgili olarak, “bize istediklerini satabilirler mesela” diyor Harari ve devam ediyor: “bu bir ürün de olabilir, bir müzik parçası da olabilir, bir politikacı da olabilir…” Tam bu noktada, daha şimdiden, Twitter’ın “manipülasyon politikalarını ihlal ettikleri” gerekçesiyle Çin, Türkiye ve Rusya’dan 32 binden fazla “devletle bağlantılı” hesabın kapatıldığını; Twitter’in, yedi bin civarındaki hesabın, Ak Parti ile Cumhurbaşkanı Tayyip  Erdoğan’a yönelik siyasi ifadeleri olumlu yönde arttırmak için kullanılan sahte hesaplar olduğu açıklamasını hatırlayalım.

Yine pandemi sürecine dönersek, salgın sırasında uygulanan gözetim boyunca insanlar bir “virüs tehlikesi”/”mahremiyet” çelişkisi yaşamış olabilirler… Ama, pandemi sonrasında, insanlar “mahremiyet” ile “sağlık” arasında bir seçim yapmak zorunda kalacaklar gibi duruyor. Yani, insanlar pandemi sonrasında da, salgın hastalıktan korunma adı altında bütün mahremiyetlerinden vazgeçecekler mi? yoksa bu denetime bundan sonra hayır mı diyecekler? Ölüm korkusu, güvenli, sağlıklı yaşam arzusu, pandemi sonrasında insanları her şeye razı olma konumuna düşürürse eğer, işte o zaman bu geniş teknolojik imkanlardan yararlanabilecek olanların, kendi siyasi yaklaşımlarına uymayanları, karşıt görüşlü geniş kesimleri baskı altında tutmaları çok daha kolay olacak..

Kısacası, bir yandan pandemi ile hızla kullanılmaya başlanan gözetim sistemleri, diğer yandan hızlı bir gelişim gösteren sinir bilim, bilişim teknolojisi ve biyoteknoloji yüzünden, pandemi sonrasında insanların ne düşündüklerini, ne hissettiklerini görmeye ve denetlemeye çalışan totaliter rejim unsurlarının hızlı bir gelişme göstermesi tehlikesi ile karşı karşıya insanlık. Bu totaliter rejimlerin, çeşitli uygulamalarla toplumsal yaşama çeki düzen vermek için bireysel özgürlükleri sınırlandırarak itaatkar, boyun eğen ve biat eden bir toplum yaratma tehlikesi çok ciddi. Dolayısıyla bu teknolojik uygulamalara karşı alacağımız tavır, yapacağımız seçimler, göstereceğimiz direnç geleceğimiz açısından çok önemli olacak..

Yayına Hazırlayan: Aybike Alkan, Koç Üniversitesi, Sosyoloji Bölümü, Doktora Adayı 


[1] Harari, Y.N., 21. Yüzyıl için 21 Ders,  Kolektif Kitap, 2018, s.15

[2] age. S.37