Transformer explainer Simulatore di un LLM

Transformer Explainer è stato progettato per esplorare in modo interattivo il funzionamento interno di un Transformer per la generazione di testi. 

È uno strumento utile a chi si occupa di informatica e desidera comprendere i meccanismi alla base dell'intelligenza artificiale applicata alla generazione dei testi.
In particolare il modello offre una visualizzazione grafica dei passaggi attraverso i quali un transformer genera la parola da inserire alla fine della frase immessa.

Transformer Explainer utilizza un modello GPT-2 (small) in tempo reale che gira direttamente nel browser. Questo modello deriva dall'implementazione PyTorch di GPT realizzata nell'ambito del progetto nanoGPT di Andrej Karpathy ed è stato convertito in ONNX Runtime per garantire un'esecuzione fluida all'interno del browser. L'interfaccia è stata realizzata utilizzando JavaScript, con Svelte come framework front-end e D3.js per la creazione di visualizzazioni dinamiche. I valori numerici vengono aggiornati in tempo reale in base all'input dell'utente.

Ecco alcune delle funzionalità interattive da sperimentare:

• Inserisci una tua sequenza di testo per vedere come il modello la elabora e prevede la parola successiva. Esplora i pesi di attenzione, i calcoli intermedi e osserva come vengono calcolate le probabilità di output finali.


• Usa il cursore della temperatura per controllare il grado di casualità delle previsioni del modello. Scopri come rendere l'output del modello più deterministico o più creativo modificando il valore della temperatura.


• Seleziona i metodi di campionamento top-k e top-p per regolare il comportamento di campionamento durante l'inferenza. Sperimenta con valori diversi e osserva come la distribuzione di probabilità cambia e influenza le previsioni del modello.


• Interagisci con le mappe di attenzione per vedere come il modello si concentra su diversi token nella sequenza di input. Passa il mouse sui token per evidenziarne i pesi di attenzione ed esplora come il modello cattura il contesto e le relazioni tra le parole.