Come capire se ci si può fidare della risposta di un'IA alla propria domanda

Modalità di ricerca IA di Google. Foto: Matteo Della Torre

Leo S. Lo

Decano dell'Università della Virginia

Di recente ho digitato una semplice domanda nella barra di ricerca di Google: quanto tempo davanti allo schermo è troppo per gli adolescenti? Invece di mostrarmi dei link, come Google aveva fatto per molti anni, mi ha fornito una risposta generata dall'intelligenza artificiale. L'agente di intelligenza artificiale ha indicato un numero, per poi approfondire la risposta, sottolineando che la qualità e l'equilibrio del tempo trascorso davanti allo schermo potrebbero essere più importanti del numero di ore, e che un tempo "eccessivo" potrebbe dipendere dal sonno, dall'attività fisica, dagli impegni scolastici e dall'umore dell'adolescente.

Ho provato un'altra ricerca: Dovrei prendere un'aspirina al giorno? Questa volta la risposta dell'IA mi ha fornito informazioni mediche, mi ha avvertito dei rischi e mi ha offerto consigli più personalizzati se avessi indicato la mia età e la mia storia clinica.

Si trattava di buone risposte. Ciò che mi ha interessato è stato il fatto che fossero di diverso tipo.

Il dibattito sulle risposte fornite dall'IA si è concentrato sull'accuratezza: il sistema ha dato la risposta corretta? Questo è importante, ma l'accuratezza è solo uno dei criteri di valutazione. Ogni tipo di risposta richiede all'utente di giudicare qualcosa di diverso.

Trovo utile classificare le risposte dell'IA in una "tipologia di risposta" che comprende quattro grandi categorie: fattuali, interpretative, costruttive e strategiche. Un'affermazione fattuale può spesso essere verificata confrontandola con una fonte. Un'interpretazione può essere accurata e al contempo riflettere delle scelte relative alle prove ritenute rilevanti. Una costruzione può essere ben argomentata e risultare comunque errata per chi la riceve. Un documento strategico ben scritto potrebbe non essere veritiero. Eppure l'IA presenta tutti e quattro i tipi di risposta in modo molto simile, con un tono fluido e autorevole; le differenze sono facili da non notare.

Le quattro categorie non sono rigide e inattaccabili. Una risposta da un agente di intelligenza artificiale può essere di vario tipo. Detto questo, descrivo di seguito ciascuna tipologia di risposta e offro indicazioni per decidere se una risposta è pronta per l'uso o necessita di ulteriori approfondimenti.

Quale risposta ti dà Google?

Una risposta fattuale formula un'affermazione che, in linea di principio, può essere verificata con delle prove. Quando è stata fondata l'Università della Virginia? Qual è il simbolo chimico dell'oro?

Per stabilire se una risposta di fatto sia sufficientemente affidabile, verifica l'affermazione confrontandola con una fonte appropriata. Se la risposta cita una fonte, segui il link anziché considerare la risposta stessa come prova.

Una risposta interpretativa si basa su prove, ma non esiste un'unica conclusione. Quanto tempo davanti allo schermo è troppo per un adolescente? Il lavoro da remoto aumenta la produttività? La risposta dipende da quali prove vengono incluse, quali vengono escluse e da come viene interpretato il disaccordo.

La risposta iniziale di Google alla mia domanda sul tempo trascorso davanti allo schermo indicava che due ore rappresentavano il limite per gli adolescenti. Successivamente, precisava che le linee guida pediatriche attribuiscono maggiore importanza alla qualità e al contesto dell'utilizzo degli schermi piuttosto che al semplice numero di ore. L'American Academy of Pediatrics afferma che non esiste una quantità precisa raccomandata per gli adolescenti e sottolinea l'importanza del tipo di utilizzo degli schermi e delle attività che potrebbero essere sostituite da esso. Una domanda che sembrava basata su un numero si è rivelata, in realtà, complessa e richiedeva un'interpretazione.

Per valutare le risposte interpretative, non limitatevi a verificare i fatti. Chiedetevi quali prove il sistema ha enfatizzato, quali ha tralasciato e se esiste un'altra interpretazione plausibile. Una domanda utile da porre al motore di ricerca è: "Qual è la prova più convincente a sostegno di una conclusione diversa?".

Blocchi di testo sullo schermo di uno smartphone

Una risposta interpretativa come questa, fornita dall'IA di Google, valuta le prove e prende in considerazione i punti di disaccordo. Jaap Arriens/NurPhoto via Getty Images

Le risposte costruttive si creano, non si scoprono. Chiedete all'IA di redigere una lettera di presentazione, di scrivere un elogio funebre, di suggerire un piano di lezione o di riorganizzare un paragrafo: non esiste un unico risultato corretto.

È possibile valutare la reazione considerando lo scopo, il pubblico e il tono. Un elogio funebre può essere grammaticalmente perfetto eppure non rispecchiare affatto la persona che lo pronuncia, oppure può risultare deludente per i familiari che lo ascoltano. Potrebbe anche non rendere giustizia alla persona scomparsa. Tenete a mente questi effetti durante la lettura.

Le domande strategiche chiedono cosa fare. Dovrei prendere un'aspirina al giorno? Dovrei comprare la casa? Le risposte combinano informazioni con giudizi su obiettivi, rischi, compromessi e circostanze personali.

La mia ricerca sull'aspirina dimostra perché il contesto sia importante. Google mi ha messo in guardia sui rischi, mi ha consigliato di consultare un medico e mi ha offerto informazioni più specifiche se avessi fornito la mia età, la mia storia cardiovascolare e il mio rischio di sanguinamento. Questa raccomandazione è in linea con le linee guida della US Preventive Services Task Force , secondo le quali la decisione di iniziare una terapia con aspirina a basso dosaggio per la prevenzione di infarti e ictus dovrebbe essere individualizzata e valutare attentamente i benefici cardiovascolari rispetto al rischio di sanguinamento.

Per ottenere risposte strategiche, chiedetevi quali informazioni il sistema dovrebbe conoscere prima che il suo consiglio possa essere ragionevolmente applicato al vostro caso specifico. Considerate la posta in gioco, le alternative e se sia opportuno coinvolgere una persona qualificata. Per quanto riguarda la questione dell'aspirina, una domanda utile da approfondire potrebbe essere: "Quali dettagli sulla mia età, la mia storia clinica o il mio rischio di sanguinamento potrebbero modificare questo consiglio? Cosa dovrei discutere con il mio medico prima di decidere?". La decisione finale spetta a voi, perché siete voi a dover convivere con le conseguenze.

La prima domanda dopo una risposta

Le mie domande sono nate come normali ricerche su Google. Non ho aperto una chatbot. Le risposte generate dall'intelligenza artificiale sono semplicemente arrivate, con l'aggiunta di link.

Le risposte sono state utili. Google ha aggiunto contesto, ha riconosciuto le complicazioni e ha offerto indicazioni personalizzate se fornivo ulteriori informazioni. Tuttavia, all'interno di ciascuna risposta, il tipo di risposta poteva variare. Riportare ciò che dice una linea guida medica è diverso dal decidere come applicarla a una persona specifica. Una risposta fluida può passare da un tipo di risposta all'altro senza un cambiamento di tono percettibile.

In qualità di utente, cerca di riconoscere il tipo di lavoro intellettuale svolto dall'agente di intelligenza artificiale per la risposta che ricevi. Valuta se l'interpretazione è convincente o se il consiglio è adeguato alle tue circostanze.

Prima di chiedersi se una risposta dell'IA sia corretta, è bene porsi una domanda più basilare: che tipo di risposta è? Il tipo di risposta indicherà come procedere.

Fonte: https://theconversation.com