Large Language Machine · banco pubblico
Completa la frase
Shrek cerca continuazioni nella propria memoria Wikipedia e sceglie con attention neurale oppure Jaccard. Non è un chatbot: è il meccanismo nudo, bulloni compresi.
Cosa stai osservando
Le parole restano nella memoria esplicita. [*] apre una continuazione e usa il selettore scelto; uno o due * interni cercano per ora una finestra esatta e scelgono il riempimento più ricorrente. I risultati possono essere sensati, copiati, strani oppure boh : anche il fallimento fa parte della dimostrazione.
Quanto ha studiato Shrek
4.000 esempi-seme
3.996 periodi distinti
72.622 finestre candidate
25.965 confronti costruiti
Dei confronti, 20.796 sono stati usati per l'addestramento e 5.169 sono rimasti fuori campione. In ciascuna delle 20 epoche l'attention ha elaborato circa 56,79 milioni di celle-parola di addestramento: complessivamente circa 1,136 miliardi di presentazioni .
Selettore Parametri Pesi in memoria
1×8 128 1 KiB 2×8 512 4 KiB 3×8 1.152 9 KiB 4×8 2.048 16 KiB
Confronto con un LLM. Lo stesso flusso corrisponderebbe grossolanamente a 1,136 miliardi di token-parola presentati durante l'addestramento; un tokenizer a sottoparole produrrebbe un numero diverso. La quantità di testo non determina la dimensione della rete: per esempio, 100 milioni di parametri in FP16 occupano circa 191 MiB e un miliardo circa 1,86 GiB. Shrek separa invece memoria testuale e selettore, i cui soli pesi 4×8 occupano 16 KiB.