Mi è stato chiesto in che modo l’intelligenza artificiale influenzerà lo spazio della sicurezza informatica. Nel mio ultimo libro, The Modern Security Operation Center (che si trova qui ), includo un capitolo sui miei pensieri sul futuro della sicurezza informatica. Credo che i big data e l’elevato calcolo porteranno a un campo di battaglia cibernetico in cui gli esseri umani saranno troppo lenti per competere. Alla fine, la guerra cibernetica coinvolgerà esclusivamente IA contro IA, il che significa che gli aggressori invieranno l’IA in battaglia con i risultati desiderati ei difensori creano strategie di difesa basate sull’IA che vengono sintonizzati da un livello elevato mentre le modifiche dettagliate vengono apportate automaticamente dall’IA. Stiamo già sperimentando visioni di questo comportamento oggi e mi aspetto che le cose diventeranno un campo di battaglia cibernetico non umano nei prossimi anni.
Un articolo su Wired di uno dei più interessanti leader di pensiero sulla sicurezza informatica, Bruce Schneier, sottolinea un processo di pensiero simile. Consiglio vivamente di leggere l’articolo di Bruce e di immaginare come potrebbe apparire un mondo guidato dall’intelligenza artificiale. Pensa a come questo avrà un impatto sul mercato del lavoro e sulla tecnologia della sicurezza informatica. Il post originale può essere trovato QUI .
Intermezzo promozionale ... continua la lettura dopo il box:
Usufruisci di uno sconto per fare un CONTROLLO DELLA REPUTAZIONE PERSONALE o AZIENDALE [ click qui ]
Se non hai già abbastanza di cui preoccuparti, considera un mondo in cui le intelligenze artificiali sono hacker.
L’hacking è antico quanto l’umanità. Siamo risolutori di problemi creativi. Sfruttiamo le scappatoie, manipoliamo i sistemi e ci battiamo per ottenere maggiore influenza, potere e ricchezza. Ad oggi, l’hacking è stata esclusivamente un’attività umana. Non per molto tempo.
Come ho esposto in un rapporto che ho appena pubblicato , l’intelligenza artificiale alla fine troverà vulnerabilità in tutti i tipi di sistemi sociali, economici e politici e quindi le sfrutterà a velocità, scala e portata senza precedenti.
Dopo aver hackerato l’umanità, i sistemi di intelligenza artificiale hackereranno altri sistemi di intelligenza artificiale e gli esseri umani saranno poco più che danni collaterali.
Ok, forse questa è un po ‘un’iperbole, ma non richiede una tecnologia fantascientifica del lontano futuro. Non sto postulando una “singolarità” dell’IA , in cui il ciclo di feedback dell’apprendimento dell’IA diventa così veloce da superare la comprensione umana. Non presumo androidi intelligenti. Non presumo intenzioni malvagie. La maggior parte di questi hack non richiede nemmeno importanti scoperte di ricerca nell’intelligenza artificiale. Stanno già accadendo. Man mano che l’intelligenza artificiale diventa più sofisticata, spesso non sappiamo nemmeno che sta accadendo.
Le IA non risolvono i problemi come fanno gli umani. Guardano a più tipi di soluzioni di noi. Seguiranno percorsi complessi che non abbiamo considerato. Questo può essere un problema a causa di qualcosa chiamato problema di spiegabilità. I moderni sistemi di intelligenza artificiale sono essenzialmente scatole nere. I dati vanno da una parte e dall’altra esce una risposta. Può essere impossibile capire come il sistema sia giunto alla sua conclusione, anche se sei un programmatore guardando il codice.
Nel 2015, un gruppo di ricerca ha alimentato un sistema di intelligenza artificiale chiamato Deep Patient health and medical data da circa 700.000 persone e ha verificato se fosse in grado di prevedere le malattie. Potrebbe, ma Deep Patient non fornisce alcuna spiegazione per la base di una diagnosi ei ricercatori non hanno idea di come si giunga alle sue conclusioni. Un medico può fidarsi o ignorare il computer, ma quella fiducia rimarrà cieca.
Mentre i ricercatori stanno lavorando su un’IA che può spiegare se stessa, sembra esserci un compromesso tra capacità e spiegabilità. Le spiegazioni sono una scorciatoia cognitiva usata dagli esseri umani, adatta al modo in cui gli umani prendono le decisioni. Costringere un’IA a produrre spiegazioni potrebbe essere un ulteriore vincolo che potrebbe influenzare la qualità delle sue decisioni. Per ora, l’IA sta diventando sempre più opaca e meno spiegabile.
Intermezzo promozionale ... continua la lettura dopo il box:
Separatamente, le intelligenze artificiali possono impegnarsi in qualcosa chiamato hacking della ricompensa. Poiché le IA non risolvono i problemi allo stesso modo delle persone, inciamperanno invariabilmente in soluzioni che noi umani non avremmo mai potuto prevedere, e alcune sovvertiranno l’intento del sistema. Questo perché le IA non pensano in termini di implicazioni, contesto, norme e valori che noi umani condividiamo e diamo per scontati. Questo hacking di ricompensa implica il raggiungimento di un obiettivo, ma in un modo che i progettisti dell’IA non volevano né intendevano.
Prendi una simulazione di calcio in cui un’intelligenza artificiale ha capito che se avesse calciato la palla fuori dal campo, il portiere avrebbe dovuto lanciare la palla e lasciare la porta indifesa. O un’altra simulazione, in cui un’intelligenza artificiale ha capito che invece di correre, poteva diventare abbastanza alto da tagliare un traguardo lontano cadendoci sopra. O il robot aspirapolvere che invece di imparare a non sbattere contro le cose, ha imparato a guidare all’indietro, dove non c’erano sensori che gli dicessero che stava sbattendo contro le cose. Se ci sono problemi, incongruenze o scappatoie nelle regole e se queste proprietà portano a una soluzione accettabile come definita dalle regole, l’IA troverà questi hack.
Abbiamo imparato a conoscere questo problema di hacking da bambini con la storia di Re Mida. Quando il dio Dioniso gli concede un desiderio, Midas chiede che tutto ciò che tocca si trasforma in oro. Finisce per morire di fame e infelice quando il suo cibo, le sue bevande e la sua figlia si trasformano in oro. È un problema di specifica: Midas ha programmato l’obiettivo sbagliato nel sistema.
I geni sono molto precisi riguardo alla formulazione dei desideri e possono essere maliziosamente pedanti. Lo sappiamo, ma non c’è ancora modo di superare in astuzia il genio. Qualunque cosa tu desideri, sarà sempre in grado di concederla in un modo che vorresti non avesse fatto. Hackererà il tuo desiderio. Obiettivi e desideri sono sempre sottospecificati nel linguaggio e nel pensiero umano. Non descriviamo mai tutte le opzioni o includiamo tutti gli avvertimenti, le eccezioni e le condizioni applicabili. Qualsiasi obiettivo che specifichiamo sarà necessariamente incompleto.
Mentre gli esseri umani molto spesso comprendono implicitamente il contesto e di solito agiscono in buona fede, non possiamo specificare completamente gli obiettivi per un’IA. E le intelligenze artificiali non saranno in grado di comprendere completamente il contesto.
Nel 2015, la Volkswagen è stata sorpresa a barare sui test di controllo delle emissioni. Non si trattava di intelligenza artificiale – gli ingegneri umani hanno programmato un normale computer per imbrogliare – ma illustra il problema. Hanno programmato il loro motore per rilevare i test di controllo delle emissioni e per comportarsi in modo diverso. Il loro imbroglio è rimasto inosservato per anni.
Se ti chiedessi di progettare il software di controllo del motore di un’auto per massimizzare le prestazioni pur superando i test di controllo delle emissioni, non progetteresti il software per imbrogliare senza capire che stai barando. Questo semplicemente non è vero per un’intelligenza artificiale. Penserà “fuori dagli schemi” semplicemente perché non avrà una concezione della scatola. Non capirà che la soluzione Volkswagen danneggia gli altri, mina l’intento dei test di controllo delle emissioni e infrange la legge. A meno che i programmatori non specifichino l’obiettivo di non comportarsi in modo diverso durante il test, un’intelligenza artificiale potrebbe inventare lo stesso hack. I programmatori saranno soddisfatti, i contabili estasiati. E a causa del problema della spiegabilità, nessuno si renderà conto di cosa ha fatto l’IA. E sì, conoscendo la storia della Volkswagen, possiamo stabilire esplicitamente l’obiettivo di evitare quel particolare hack.Ma la lezione del genio è che ci saranno sempre attacchi imprevisti.
Quanto è realistico l’hacking dell’IA nel mondo reale? La fattibilità di un’intelligenza artificiale che inventa un nuovo hack dipende molto dal sistema specifico che viene modellato. Affinché un’intelligenza artificiale inizi anche solo a ottimizzare un problema, per non parlare di hackerare una soluzione completamente nuova, tutte le regole dell’ambiente devono essere formalizzate in un modo che il computer possa comprendere. Gli obiettivi, noti nell’IA come funzioni obiettivo, devono essere stabiliti. E l’intelligenza artificiale ha bisogno di una sorta di feedback su quanto bene sta andando in modo che possa migliorare.
A volte è semplice. Negli scacchi, le regole, l’obiettivo e il feedback – hai vinto o perso? – sono tutti precisamente specificati. E non c’è contesto da conoscere al di fuori di quelle cose che infangerebbero le acque. Questo è il motivo per cui la maggior parte degli attuali esempi di hacking per obiettivi e ricompense provengono da ambienti simulati. Questi sono artificiali e vincolati, con tutte le regole specificate all’IA. L’ambiguità intrinseca nella maggior parte degli altri sistemi finisce per essere una difesa della sicurezza a breve termine contro l’hacking dell’IA.
Dove questo diventa interessante sono i sistemi che sono ben specificati e quasi interamente digitali. Pensa a sistemi di governance come il codice fiscale: una serie di algoritmi, con input e output. Pensa ai sistemi finanziari, che sono più o meno trattabili algoritmicamente.
Possiamo immaginare di dotare un’IA di tutte le leggi e i regolamenti mondiali, oltre a tutte le informazioni finanziarie mondiali in tempo reale, oltre a qualsiasi altra cosa che riteniamo possa essere rilevante; e poi dandogli l’obiettivo del “massimo profitto”. La mia ipotesi è che questo non sia molto lontano e che il risultato sarà ogni sorta di nuovi hack.
Ma i progressi nell’IA sono discontinui e controintuitivi. Le cose che sembrano facili si rivelano difficili e le cose che sembrano difficili si rivelano facili. Non lo sappiamo fino a quando non si verificherà la svolta.
Quando le IA inizieranno ad hackerare, tutto cambierà. Non saranno vincolati negli stessi modi, o avranno gli stessi limiti, delle persone. Cambieranno la velocità, la scala e la portata dell’hacking, a velocità e intensità per cui non siamo pronti. I robot di generazione di testo con intelligenza artificiale, ad esempio, verranno replicati a milioni sui social media. Saranno in grado di impegnarsi su questioni 24 ore su 24, inviare miliardi di messaggi e sopraffare qualsiasi discussione online tra esseri umani. Quello che vedremo come un dibattito politico turbolento saranno i robot che litigano con altri robot. Influenzeranno artificialmente ciò che pensiamo sia normale, ciò che pensiamo pensano gli altri.
La crescente portata dei sistemi di intelligenza artificiale rende anche gli hack più pericolosi. Le IA stanno già prendendo decisioni importanti sulle nostre vite, decisioni che credevamo fossero di competenza esclusiva degli umani: chi ottiene la libertà condizionale, riceve prestiti bancari, entra al college o trova un lavoro. Man mano che i sistemi di intelligenza artificiale diventano più capaci, la società cederà loro più e più importanti decisioni. Gli hack di questi sistemi diventeranno più dannosi.
E se fornissi a un’IA l’intero codice fiscale degli Stati Uniti ? O, nel caso di una multinazionale, i codici fiscali del mondo intero? Capirà, senza che gli venga detto, che è intelligente incorporare nel Delaware e registrare la tua nave a Panama? Quante scappatoie troverà di cui non siamo già a conoscenza? Dozzine? Migliaia? Non ne abbiamo idea.
Sebbene disponiamo di sistemi sociali che si occupano degli hack, quelli sono stati sviluppati quando gli hacker erano umani e riflettono la velocità, le dimensioni e la portata dell’uomo. L’IRS non può occuparsi di dozzine, figuriamoci migliaia, di scappatoie fiscali scoperte di recente. Un’intelligenza artificiale che scopre attacchi imprevisti ma legali dei sistemi finanziari potrebbe ribaltare i nostri mercati più velocemente di quanto potremmo recuperare.
Come discuto nel mio rapporto , mentre gli hack possono essere utilizzati dagli aggressori per sfruttare i sistemi, possono anche essere usati dai difensori per applicare patch e proteggere i sistemi. Quindi, a lungo termine, gli hacker di intelligenza artificiale favoriranno la difesa perché il nostro software, codice fiscale, sistemi finanziari e così via possono essere patchati prima di essere distribuiti. Ovviamente, il periodo di transizione è pericoloso a causa di tutte le regole legacy che verranno violate. Lì, la nostra soluzione deve essere la resilienza.
Dobbiamo costruire strutture di governo resilienti in grado di rispondere rapidamente ed efficacemente agli attacchi. Non servirà a nulla se occorrono anni per aggiornare il codice fiscale o se un hack legislativo diventa così radicato da non poter essere riparato per motivi politici. Questo è un problema difficile della governance moderna. Inoltre, non è un problema sostanzialmente diverso dalla costruzione di strutture di governo in grado di operare alla velocità e complessità dell’era dell’informazione.
Quello che ho descritto è l’interazione tra sistemi umani e computer e i rischi inerenti quando i computer iniziano a fare la parte degli umani. Anche questo è un problema più generale rispetto agli hacker di intelligenza artificiale. È anche uno di cui scrivono tecnologi e futuristi. E mentre è facile lasciare che la tecnologia ci guidi nel futuro, stiamo molto meglio se come società decidiamo quale dovrebbe essere il ruolo della tecnologia nel nostro futuro.
Questo è tutto qualcosa che dobbiamo capire ora, prima che queste IA arrivino online e inizino a hackerare il nostro mondo.
Articolo tradotto in automatico con Google
Fonte : http://www.thesecurityblogger.com/hackers-used-to-be-humans-soon-ais-will-hack-humanity/
