Come installare Ollama e avviare una chat IA locale
Pubblicazione originale: · Sergey Zhadov
Questo è un articolo d’archivio tradotto. Data e prezzi si riferiscono alla pubblicazione originale, non a un nuovo annuncio di oggi.
Ollama esegue modelli linguistici sul computer e offre una chat da terminale insieme a un'API locale. Installalo, scegli un modello adatto all'hardware, avviane uno e fai una domanda semplice. Non scaricare subito un modello gigantesco e non esporre la porta 11434 su Internet. Altrimenti ottieni un PC inchiodato o una falla, non una IA utile.
Capire che cosa fa davvero Ollama
Ollama scarica ed esegue modelli, conserva i loro file e mette a disposizione una chat da terminale e un'API HTTP. È un ambiente di esecuzione e un server, non un singolo modello proprietario. Il risultato dipende da modello, dimensione, quantizzazione, prompt e hardware.
L'esecuzione locale è utile per esperimenti e dati che non devono finire in un servizio cloud. Non garantisce la privacy da sola. Plugin, terminali e applicazioni collegate possono ancora salvare o trasmettere informazioni.
Controllare prima memoria e spazio
I file dei modelli occupano gigabyte e le varianti grandi possono richiedere decine o centinaia di gigabyte. Durante l'uso servono RAM o VRAM. Contesto lungo e richieste parallele aumentano il consumo, quindi lascia spazio al sistema operativo.
Non scegliere solo in base ai parametri. Un modello instruct compatto è migliore per la prima prova. Se parte lo swap, le ventole urlano e ogni risposta dura un'eternità, il modello non sta pensando meglio. Il computer sta affogando.
Installare su Windows, macOS o Linux
Su Windows il programma aggiunge il comando ollama e avvia l'applicazione in background. La documentazione corrente richiede Windows 10 22H2 o successivo. macOS richiede la versione 14 o successiva. I Mac Apple M usano CPU e GPU, mentre i Mac Intel lavorano con la CPU.
Su Linux si può usare lo script di installazione o il pacchetto manuale, poi eseguire il server direttamente o come servizio systemd. Non incollare comandi amministrativi alla cieca. Prima controlla fonte e script.
Avviare la prima chat nel terminale
Apri un nuovo terminale ed esegui ollama. Il menu interattivo può avviare un modello. Il classico comando run indica il modello e apre la conversazione. Il primo avvio è più lento perché deve scaricare i file.
Parti con una richiesta breve e verificabile, poi fai una domanda successiva. Usa testo neutro o codice innocuo, non segreti aziendali. Basta questo per verificare contesto e velocità.
Provare l'API locale
Ollama espone l'API su localhost:11434. L'endpoint chat riceve il nome del modello e una lista di messaggi. Invia una prova senza streaming e controlla stato, contenuto e tempi.
Metti indirizzo e modello nella configurazione, poi aggiungi timeout, limite alla dimensione della richiesta e un errore chiaro quando il server non risponde. Altrimenti l'interfaccia resta appesa e tutti si chiedono che diavolo si sia rotto.
Non esporre il server alla leggera
Il binding predefinito 127.0.0.1 limita l'accesso allo stesso computer. OLLAMA_HOST può cambiarlo, ma un altro indirizzo può aprire il servizio alla rete. Configura prima firewall, autenticazione, cifratura e client consentiti.
Non inoltrare la porta pubblicamente per capriccio. Un'API senza protezione permette a estranei di consumare hardware ed eseguire i modelli installati. Usa un proxy controllato o una VPN e conserva i log di accesso.
Gestire i modelli prima che il disco si riempia
Su Windows i modelli si trovano normalmente nel profilo utente e OLLAMA_MODELS permette di spostarli. I percorsi cambiano su macOS e Linux. Ferma il servizio e conserva i permessi prima di muovere i file.
Elimina i modelli inutilizzati e controlla lo spazio libero prima di scaricare un'altra variante. Cinque versioni quasi uguali non sono una strategia. Un disco di sistema pieno rompe ben più di Ollama.
Conclusione: prima un modello e localhost chiuso
Un primo avvio pulito è semplice: installazione ufficiale, un modello adeguato, una chat breve e una prova dell'API locale. Poi misura velocità, memoria, qualità e contesto prima di aggiungere interfacce o agenti.
L'errore classico è costruire una nuvola domestica senza capire risorse e rete. Tieni il servizio su localhost e adatta la dimensione del modello all'hardware. Così l'IA locale diventa uno strumento, non una costosa stufa con il terminale lampeggiante.
Traduzione verificata:
