Un'AI locale in casa
Un assistente AI che gira sul mio PC, non nel cloud: un'interfaccia web per tutta la famiglia e un agente da terminale che lavora sul codice — su una scheda video da 12 GB e senza il supporto ufficiale che ci si aspetterebbe.
L’idea
Gli assistenti AI migliori vivono nel cloud, e ogni domanda esce di casa. Volevo provare l’alternativa: un’AI che gira in casa mia, su un PC che ho già, per due usi. Da una parte un’interfaccia web in stile chat, per me e per la famiglia, con documenti da consultare. Dall’altra un agente da terminale che lavora su un progetto — legge i file, li modifica, compila, lancia i test — in C, C++, Java, .NET, Python e Node, compreso questo stesso sito.
Il problema: una scheda video “sbagliata”
Il PC ha un Ryzen 9, 128 GB di RAM e una Radeon RX 6700 XT da 12 GB. La RAM è tanta; i
12 GB di memoria video sono il limite vero. E il software AMD per il calcolo (ROCm) non
supporta ufficialmente questa scheda su Windows, e in WSL funziona solo con le schede più
recenti. Così il motore di inferenza gira nativo su Windows con Vulkan, tramite
llama.cpp, e tutto il resto vive in WSL.
La scelta dei modelli segue lo stesso vincolo: i modelli MoE (“mixture of experts”)
attivano solo una piccola parte dei loro pesi a ogni parola, quindi si possono tenere gli
“esperti” in RAM e solo il nucleo sulla scheda. Con un’opzione di llama.cpp si decide con
precisione cosa sta dove, ed è per questo che l’ho preferito a strumenti più semplici.
Come è fatto
- Motore:
llama.cpp(Vulkan) governato da llama-swap, che carica e scarica i modelli a richiesta su una sola porta. Parte da solo all’accensione del PC, anche senza login, con un’attività pianificata. Il PC si accende solo quando serve. - Modelli: uno da 35 miliardi di parametri (3 attivi) per l’uso quotidiano, e uno molto più grande, da 125 miliardi (6 attivi), per i problemi difficili. Sul primo misuro oggi circa 35 parole al secondo in scrittura (erano 16-20 prima di una modifica, vedi sotto) e oltre 230 al secondo nel leggere un prompt lungo; il secondo è più lento (11-13) ma ragiona meglio. Scoperta utile: aumentare la dimensione dei blocchi di lettura del prompt ha dato un +50% quasi gratis.
- Interfaccia web: Open WebUI in un container, collegata al motore. Gli account li crea l’amministratore, la registrazione libera è spenta; i nuovi arrivati restano “in attesa” finché non li approvo.
- Ambiente di sviluppo: una distribuzione Ubuntu in WSL2 con compilatori C/C++, JDK, .NET, Python, Node e un container Docker, con i repository clonati sul filesystem Linux (molto più veloce di quello di Windows).
- Rete: raggiungibile solo dalla rete di casa e da quella della seconda casa, con regole del firewall che aprono soltanto le porte necessarie. Fuori casa, tramite la VPN. Il PC si sveglia a distanza con il Wake-on-LAN.
- HTTPS senza aprire nulla: l’interfaccia web ha un indirizzo con un certificato valido, nella stessa logica del mio password manager: l’indirizzo esiste solo nel DNS di casa e il certificato si ottiene con la verifica DNS (una delega verso un servizio di DNS dinamico), senza esporre il PC a Internet. Davanti a Open WebUI c’è un piccolo proxy nginx, e l’interfaccia ascolta solo sul PC stesso.
Claude Code o OpenCode? Una prova vera
La domanda interessante era quale agente usare con un modello locale. Claude Code ha l’esperienza che già conosco, e il motore parla anche il protocollo Anthropic, quindi non serve nemmeno un traduttore in mezzo. L’alternativa è OpenCode, un agente aperto nato per funzionare con qualunque modello. Invece di fidarmi della fama, ho dato a entrambi gli stessi due compiti, con lo stesso modello, su copie isolate, con un’ora di tempo:
| Compito | Claude Code | OpenCode |
|---|---|---|
| Uno script per trovare i link rotti nel sito | 24 minuti, funziona ma con un falso positivo | 5,5 minuti, corretto |
| Un programma C++ con CMake e test, verificato da uno script che i modelli non vedono | non finito in un’ora | 24 minuti, corretto |
La differenza non dipendeva dalla configurazione — la cache dei prompt funzionava in entrambi — ma da come lavora l’agente: Claude Code, pensato per i modelli Claude, fa più giri e più riscritture, e con un modello locale più lento si paga cara. OpenCode è il client principale. Lo uso anche dal Mac sui progetti locali, e gli passo la memoria che avevo già preparato per Claude (file di istruzioni globali e per progetto), che sa già leggere quasi tutta da solo.
Un’avvertenza sulla prova. Mentre Claude Code lavorava al compito in C++, la scheda video è stata resettata due volte dal watchdog di Windows (vedi sotto): quel risultato è quindi falsato almeno in parte, e non è un verdetto definitivo. Il resto del quadro regge: OpenCode ha chiuso entrambi i compiti, anche dopo, in modo corretto.
Una scheda video che si resettava da sola
Windows controlla che la scheda video risponda entro due secondi, e se non lo fa la riavvia. Con i modelli divisi tra scheda e RAM, certe operazioni Vulkan duravano di più: la scheda veniva resettata (sette volte in una giornata) e la richiesta in corso falliva con un errore di “dispositivo perso”. La soluzione è stata allungare quei tempi nel registro di Windows, e dopo il riavvio non si è più resettata.
Il doppio della velocità, con un limite
Con la previsione di token multipli (MTP) il modello propone due parole alla volta e il modello le verifica: circa l’85% viene accettato, e la scrittura passa da 16 a 33-37 parole al secondo. Il prezzo è che funziona una richiesta alla volta, quindi le altre vanno in coda. Nel confronto con una sola prova la variabilità dell’agente (quanti tentativi fa) pesava più della velocità: la prova in C++ con OpenCode è riuscita in 36 minuti invece di 24. Ho scelto MTP come configurazione principale, tenendo la versione senza come ripiego. Il collo di bottiglia che resta è la lettura dei prompt, e lì servirebbe una scheda con più memoria.
Cercare nei documenti, e scriverne
Open WebUI può rispondere sui documenti caricati, e per farlo deve “capire” il testo: serve un modello di embedding. Quello predefinito è pensato per l’inglese, quindi l’ho sostituito con uno multilingue, piccolo, che gira sul processore accanto al modello di chat senza scaricarlo; la ricerca combina il significato con la corrispondenza delle parole. Un tranello: questa versione salva tutte le impostazioni nel database e le variabili d’ambiente contano solo al primo avvio, quindi ho scritto uno script che le cambia a container fermo, dopo una copia di sicurezza. Così ho anche scoperto che l’indirizzo dell’interfaccia era rimasto quello vecchio, senza HTTPS.
Per provare la scrittura di documenti ho chiesto ai due modelli la stessa guida d’uso per la famiglia. Ne è uscita una guida unica, convertita in PDF e Word con pandoc, dove ho corretto i punti in cui i modelli avevano inventato dettagli — un promemoria utile: scrivono bene, ma i fatti vanno controllati.
Backup per un PC che di notte dorme
Un backup a orario fisso non ha senso su una macchina spenta per la maggior parte del tempo. Qui un timer parte quindici minuti dopo l’accensione e poi ogni quattro ore: copia gli account, la cronologia, i documenti caricati e la configurazione degli agenti sul NAS (con la copia sicura dei database SQLite, e tenendo le ultime 14), e se il NAS non risponde salta il giro. Se un backup fallisce, arriva una mail — l’ho provato con un guasto simulato. Poi lo verifico davvero: contenuto completo e controllo di integrità dei database. Solo i modelli restano fuori, perché si riscaricano.
Un accesso da maneggiare con cura
OpenCode ha anche un’interfaccia web, comoda, ma dà accesso a una shell, ai file e alla chiave di GitHub. Per questo la tengo ascoltare solo sul PC stesso, con password, e dal Mac la apro attraverso un tunnel SSH: non è mai esposta alla rete.
Aspettative realistiche
Questi modelli vanno bene per modifiche circoscritte, spiegazioni, documentazione, test e script. Nei lavori lunghi su molti file sono comunque nettamente sotto i modelli cloud: sbagliano più spesso le chiamate agli strumenti e perdono il filo dopo molti passaggi. Non è un sostituto, è un complemento che costa solo corrente.
Cosa ho imparato
- Una prova sola non è un verdetto: con un agente i tempi cambiano più per il percorso scelto (quanti tentativi, quante riscritture) che per la velocità del modello.
- Verificare prima di descrivere: nella guida per la famiglia avevo scritto che ognuno si registra da sé, mentre la registrazione libera era spenta. Prima di spiegare come funziona un servizio, si guarda la configurazione vera.
- Gli script con un agente vogliono l’ingresso chiuso: lanciato senza un input, l’agente resta in attesa all’infinito.
- Il prossimo passo è l’hardware: la lettura dei prompt, il collo di bottiglia degli agenti, migliora davvero solo con una scheda dotata di più memoria video. Prima di comprarla ho fatto la scheda di tutto il PC, con uno script di inventario, e ho scoperto due limiti che il listino non mostra: l’alimentatore regge una scheda grossa da sola ma non insieme alla vecchia, e il radiatore montato davanti nel case toglie cinque-sei centimetri allo spazio dichiarato, così le schede più lunghe quasi certamente non entrano. Meglio misurare prima che rendere un pacco.
Stato
Funzionante dal 17 ottobre 2026 (e già ritoccato lo stesso giorno): motore, modelli, interfaccia web con HTTPS, ambiente di sviluppo, due agenti (uno anche sul Mac) e backup con avviso sono in piedi, e il confronto è fatto. La guida d’uso per la famiglia c’è; restano gli aggiornamenti automatici. La configurazione è tutta in un repository privato, senza i modelli, che si possono riscaricare.
Stack
llama.cpp (Vulkan) · llama-swap · Open WebUI · OpenCode · Claude Code · WSL2 · Docker · Windows 11 · PowerShell · Bash