6 x 9 = 42

“Ho sempre detto che c’era qualcosa di fondamentalmente sbagliato nell’universo…” (Arthur Dent)

Posts Tagged ‘gittins’

Il Dilemma dell’Avventuriero

Posted by scardax su settembre 16, 2011

Ci sono alcune tematiche scientifiche che possiamo solo definire trasversali: si ripropongono un po’ ovunque. Una di queste, forse leggermente meno conosciuta al di fuori del mondo accademico, è il cosidetto dilemma dell’exploration vs. exploitation che, in mancanza di una miglior traduzione italiana, chiameremo qui col nome originale. E’ un dilemma al quale tutti noi, seppur inconsciamente, siamo abituati fin dalla più giovane età, e deriva principalmente dal dover agire in un mondo di cui abbiamo solo un’informazione incompleta. Conoscendo solo una porzione di tutto quello che ci circonda, ad ogni decisione da prendere siamo confrontati con due possibili opzioni:

  1. Selezionare l’azione che, secondo la nostra conoscenza, è la migliore in quella circostanza (exploitation),
  2. Esplorare alternative al momento sconosciute, con la possibilità di un rendimento scostante ed eventuali perdite di tempo e risorse (exploration).

Dobbiamo continuare a lavorare sul progetto fallimentare che ci ha tenuti impegnati nelle ultime settimane? O è ora di abbandonarlo per dedicarsi ad altro? Meglio andare alla spiaggia che conosciamo benissimo? O cercarne un’altra? Esempi del genere riempiono la nostra attività cosciente in ogni istante.

La formulazione del problema in questi termini è relativamente recente, fine degli anni ’80, e si è presentata durante lo studio del multi-armed bandit, che in sostanza è una slot machine con N diverse leve, ciascuna delle quali ha una probabilità diversa di vittoria per il giocatore. Senza conoscere questa probabilità a priori, qual’è la strategia migliore a questo gioco? La soluzione dell’americano Gittins prevedeva il calcolo di determinati indici, detti appunto indici di Gittins, e nonostante il grande numero di assunzioni che dovette fare, contribuì a dare una prima formulazione rigorosa di questo dilemma.

Da allora, lo stesso dilemma è ricomparso sempre più spesso, soprattutto (come ci si potrebbe aspettare) nei campi di ricerca interessati a comportamenti “intelligenti” da parte di robot e agenti software: pensiamo ad un giocatore di Poker che può scegliere di sacrificare parte dei suoi guadagni per apprendere qualcosa sul tipo di gioco dell’avversario, o ad un robot mobile che deve decidere come arrivare da qualche parte senza però conoscere ancora la mappa del luogo in cui si trova. Soluzioni tipiche di questo genere di problemi richiediono generalmente alti livelli di esplorazione iniziali (quanto l’ambiente è ancora altamente incerto), e sempre più exploitation man mano che il mondo diventa più conosciuto.

Eppure, fino ad ora i ricercatori si sono concentrati su situazioni sostanzialmente statiche, nelle quali l’ambiente non cambia o, se cambia, cambia poco. Provate a pensare a quanto è difficile, invece, bilanciare questo dilemma in un universo complesso come quello umano, nel quale le informazioni cambiano (a volte anche rapidamente) e spesso sono anche sbagliate di partenza (pensate ai pregiudizi, alle supposizioni errate ecc.). In effetti, ricercatori che indagano sulle modalità neurologiche di questo bilanciamento stanno scoprendo meccanismi sempre più complessi ed affascinanti che regolano il nostro comportamento di tutti i giorni, rendendoci a tratti più avventurosi, a tratti più cauti.

Come semplice esempio per concludere, pensate alla noia: questa non è altro che un modo per dirvi che state sprecando le vostre risorse in un comportamento che non vi porta nulla, e che invece sarebbe meglio investite per esplorare qualcosa che ancora non conoscete. Riusciremo un giorno ad implementare comportamenti similmente complessi in esseri artificiali?

Annunci

Posted in Informatica, Varie | Contrassegnato da tag: , , , , | 5 Comments »