IA On-Premises per Svogliati

# Quantizzazione = riduzione della precisione per risparmiare memoria
# Q4 = 4 bit per parametro (~50% di un float16), qualità ok
# Q8 = 8 bit per parametro, qualità quasi identica al pieno

VRAM (GB) ≈ (parametri in miliardi) × (bit / 8) + ~15-20% overhead (KV cache)

Qwen3 8B       a Q4:  8 × 0.5  = ~5-6 GB VRAM  # RTX 3060 12GB / RTX 5060 Ti: ✓
gpt-oss 20B    MXFP4:  21B MoE = ~13 GB VRAM  # RTX 5060 Ti 16GB: ✓ (3.6B attivi)
Qwen3 14B      a Q4: 14 × 0.5  = ~9-10 GB VRAM # RTX 5070 12GB: ✓ (giusto)
Qwen3 32B      a Q4: 32 × 0.5  = ~18-20 GB VRAM # RTX 3090/4090/5090 24-32GB: ✓
gpt-oss 120B   MXFP4: 117B MoE = ~60-65 GB    # Mac 128GB / GPU 80GB: ✓ (5.1B attivi)
Llama 4 Scout  a Q4: 109B MoE  = ~60 GB       # Mac 64-128GB unified
DeepSeek 671B  a Q4: 671B MoE  = ~380 GB      # classe server, o Mac Studio 512GB

# MoE (Mixture-of-Experts): conta i parametri TOTALI per la VRAM,
#   ma solo quelli ATTIVI per la velocità → modelli grandi ma rapidi
# MXFP4 = quant FP4 nativo (gpt-oss): qualità quasi piena a metà spazio
# Velocità approssimativa: VRAM >> RAM unificata (Mac/Strix) >> RAM >>> Disco

# macOS
brew install ollama
# oppure dal sito: curl -fsSL https://ollama.com/install.sh | sh

# Linux (una riga, fa tutto)
curl -fsSL https://ollama.com/install.sh | sh

# Windows: installer .exe da ollama.com

# Verifica che funzioni
ollama --version
ollama version is 0.x.x

# Ollama gira come servizio in background su :11434
ollama serve   # solo se non parte in automatico

# Scarica e avvia in chat interattiva
ollama run qwen3                  # 8B tuttofare, ~5GB download
ollama run gpt-oss:20b           # reasoning, ~13GB (entra in 16GB VRAM)
ollama run gpt-oss:120b          # reasoning top, ~65GB (Mac 128GB / GPU 80GB)
ollama run qwen3-coder:30b       # coding agentico MoE
ollama run deepseek-r1:14b       # reasoning distillato locale
ollama run gemma3:27b            # Google Gemma 3, multimodale
ollama run qwen3-vl:8b           # visione (immagini, OCR, video)

# Una domanda singola senza chat interattiva
ollama run qwen3 "traduci in italiano: hello world"

# Lista modelli scaricati
ollama list

# Rimuovi un modello (libera spazio)
ollama rm mistral

# Vedi quanto VRAM/RAM sta usando
ollama ps

# Chiamata base all'API (endpoint /api/generate)
curl http://localhost:11434/api/generate \
  -d '{"model":"qwen3","prompt":"spiega kubernetes in 2 righe","stream":false}'

# Endpoint compatibile OpenAI (per drop-in replacement)
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3",
    "messages": [{"role":"user","content":"ciao, come stai?"}]
  }'

# Python con libreria ollama
pip install ollama

# client.py
import ollama

response = ollama.chat(model='qwen3', messages=[
    {'role': 'user', 'content': 'Spiega Docker in 3 righe'}
])
print(response['message']['content'])

# Oppure con libreria openai, cambiando solo base_url
from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
response = client.chat.completions.create(model="qwen3", ...)

# Modelfile
FROM qwen3

# Temperatura: 0.0 = deterministico, 1.0 = creativo
PARAMETER temperature 0.2

# Context window
PARAMETER num_ctx 8192

# System prompt fisso
SYSTEM """
Sei un assistente tecnico per sistemisti. Rispondi sempre in italiano.
Sii conciso e diretto. Se non sai qualcosa, dillo chiaramente.
Quando mostri comandi, usa blocchi di codice.
"""

# Crea il modello custom
ollama create mio-assistente -f Modelfile
ollama run mio-assistente

pip install langchain-community langchain-ollama chromadb pymupdf

# rag_locale.py
from langchain_community.document_loaders import PyMuPDFLoader
from langchain_ollama import OllamaEmbeddings, OllamaLLM
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.vectorstores import Chroma
from langchain.chains import RetrievalQA

# 1. Carica i tuoi documenti
loader = PyMuPDFLoader("manuale_aziendale.pdf")
docs = loader.load()

# 2. Spezzali in chunk
splitter = RecursiveCharacterTextSplitter(chunk_size=500)
chunks = splitter.split_documents(docs)

# 3. Crea embeddings locali (multilingua → meglio per l'italiano)
embeddings = OllamaEmbeddings(model="bge-m3")
db = Chroma.from_documents(chunks, embeddings, persist_directory="./db")

# 4. Fai domande
llm = OllamaLLM(model="qwen3")
qa = RetrievalQA.from_chain_type(llm=llm, retriever=db.as_retriever())

risposta = qa.invoke("Qual è la procedura per le ferie?")
print(risposta["result"])

# Scarica anche il modello di embedding (alt: qwen3-embedding, embeddinggemma)
ollama pull bge-m3