Il vero pericolo è la nostra imprudenza

Ma ci sono ogni genere di governi, società, militari, laboratori di ricerca e organizzazioni criminali, che lavorano su ogni genere di AI. Molti di loro stanno cercando di creare una AI che possa migliorarsi da sola; prima o poi qualcuno proverà l'idea giusta e avremo una ASI su questo pianeta. Gli esperti individuano tale momento nel 2060, Kurzweil nel 2045. Bostrom crede che potrebbe succedere in un momento qualsiasi tra dieci anni da ora e la fine del secolo, ma è convinto che quando accadrà ci prenderà di sorpresa con un decollo rapido. Descrive la situazione in questo modo^[1]:

Di fronte alla prospettiva di un'esplosione d'intelligenza, noi esseri umani siamo come bambini che giocano con una bomba. È questa la differenza tra il potere del nostro giocattolo e l'immaturità della nostra condotta. La superintelligenza è una sfida per cui non siamo pronti oggi e non lo saremo ancora a lungo. Abbiamo solo una vaga idea su quando ci sarà la detonazione, ma se teniamo il dispositivo vicino all'orecchio possiamo sentirne il ticchettio.

Fantastico. E non possiamo semplicemente allontanare i bambini dalla bomba, perché ci sono troppi gruppi, grandi e piccoli, che ci stanno lavorando, e perché molte tecniche per costruire un sistema AI innovativo non richiedono grandi capitali. Lo sviluppo può avvenire tra le pieghe e negli angoli della società, senza controllo. Non c'è nemmeno modo di valutare quello che sta succedendo, perché molti dei gruppi al lavoro – agenzie segrete, mercato nero, terroristi, società hi-tech – vogliono tenere segreto il proprio lavoro ai concorrenti o altri "avversari".

La cosa particolarmente preoccupante riguardo a questi gruppi che lavorano sulla AI è che tendenzialmente corrono alla massima velocità, e sviluppano sistemi ANI sempre migliori con l'obiettivo di sbaragliare i concorrenti. I gruppi più ambiziosi si muovono più velocemente, consumati da sogni di gloria, ricchezza e potere che otterranno se arrivano per primi alla AGI. È abbastanza ovvio che la persona o le persone che arriveranno per prime a questo risultato avranno la loro pagina sui libri di Storia anche tra moltissimo tempo (ammesso che sopravviviamo, ovviamente).

Quando corri alla massima velocità possibile, non c'è molto tempo per fermarsi e ponderare i rischi. Al contrario, probabilmente stanno programmando i loro primi sistemi con obiettivi molto semplici – come scrivere un bigliettino su un pezzo di carta – solo per "far funzionare la AI". Sono convinti che "ci sarà sempre tempo di tornare indietro e rivedere gli obietti, una volta riusciti costruire un'intelligenza di buon livello, giusto …?"