RAG e costi delle API LLM: come funziona, quanto costa e come si valuta

RAG (retrieval-augmented generation)

Tecnica che combina un modello linguistico con un sistema di ricerca su una base di documenti. Il nome viene da un articolo di ricerca del 2020 che descriveva modelli capaci di unire la memoria “interna” del modello a una memoria esterna consultabile.

Cos'è la RAG e come funziona?

La RAG è il modo più pratico per far rispondere un modello su informazioni che non conosce: i tuoi manuali, i contratti, le FAQ, la documentazione di prodotto. Invece di riaddestrare il modello, gli dai a ogni domanda i pezzi di testo giusti. Il flusso ha due fasi: una preparazione, fatta una volta e aggiornata quando i documenti cambiano, e una risposta, ripetuta a ogni domanda.

1. Dividi i documenti in pezzi (chunk) di qualche centinaio di parole, mantenendo titoli e contesto.
2. Trasforma ogni pezzo in un embedding, cioè un vettore di numeri che ne rappresenta il significato, e salvalo in un indice.
3. A ogni domanda, trasforma anche la domanda in embedding e cerca i pezzi più vicini, spesso insieme a una ricerca per parole chiave.
4. Passa al modello la domanda e i pezzi trovati, con l'istruzione di rispondere solo su quella base e di citare la fonte.
5. Controlla e registra risposta, fonti usate e costo della richiesta.

Quando serve la RAG, e quando no?

La RAG serve quando la base di conoscenza è grande, cambia spesso o va citata. Se è piccola può bastare metterla tutta nel prompt: nel post sulla Contextual Retrieval, Anthropic suggerisce questa strada per basi sotto i 200.000 token, circa 500 pagine, sfruttando il caching del prompt per contenere i costi. Se invece vuoi cambiare il modo in cui il modello risponde, come tono o formato, più che cosa sa, la RAG non è lo strumento giusto: bastano istruzioni migliori, e solo in casi particolari un modello personalizzato.

Quanto costano le API dei modelli linguistici?

Le API si pagano a token, cioè a pezzi di parola, con un prezzo per i token in ingresso e uno più alto per quelli in uscita. Ecco una selezione dei prezzi pubblicati sulle pagine ufficiali di Anthropic, OpenAI e Google. Sono soggetti a cambiamenti frequenti: usali per ragionare sugli ordini di grandezza e ricontrolla prima di decidere.

Come si calcola il costo di una funzione RAG?

Si calcola sommando due parti: l'indicizzazione dei documenti, che si paga una volta e a ogni aggiornamento, e il costo per domanda, che si paga sempre. Ecco un esempio costruito da noi su numeri ipotetici, con i prezzi della tabella.

Il conto vero lo decide il rapporto tra token in ingresso e qualità: più pezzi passi al modello, più paghi, e non sempre la risposta migliora. Per questo la qualità del recupero è anche una leva di costo. Se la funzione è un agente che fa più passi per domanda, moltiplica per il numero di chiamate: lo vediamo nella guida su quanto costa un agente AI.

Come si riducono i costi delle API?

Si riducono soprattutto scegliendo il modello giusto per ogni passaggio e non pagando due volte lo stesso testo. Le leve principali:

• Il modello più piccolo che supera i tuoi test. La differenza tra modelli dello stesso fornitore arriva a 40 volte o più per token.
• Caching del prompt. Le parti che si ripetono, come istruzioni ed esempi, si pagano molto meno quando vengono rilette dalla cache: da Anthropic la lettura costa di norma il 10% del prezzo d'ingresso, il 5% su Opus 5.5 e Sonnet 5.5.
• Batch per ciò che non è urgente. Riassunti notturni, classificazioni, indicizzazioni: la Batch API di OpenAI costa il 50% in meno, con risultati entro 24 ore, e Anthropic e Google offrono lo stesso sconto.
• Meno pezzi, ma migliori. Un recupero preciso permette di passare meno contesto al modello.
• Un tetto all'uscita. Risposte più corte costano meno e spesso si leggono meglio.

Come si valuta la qualità di un sistema RAG?

Si valutano separatamente le due metà: il recupero (ha trovato i passaggi giusti?) e la risposta (li ha usati bene, senza inventare?). Se il recupero sbaglia, nessun modello rimedia; se il recupero è giusto ma la risposta no, il problema sta nelle istruzioni o nel modello.

Sono risultati misurati dal fornitore sui propri dati, non uno studio indipendente, ma mostrano quanto conti il recupero: le sole tecniche di indicizzazione e ricerca hanno ridotto gli errori di due terzi, senza cambiare modello. Per misurarlo sui tuoi dati segui un metodo semplice, come quello delle linee guida di OpenAI e della documentazione di Anthropic:

• una lista di domande vere, con i documenti che contengono la risposta;
• per il recupero, la quota di domande in cui il passaggio giusto è tra quelli trovati;
• per la risposta, correttezza, aderenza alle fonti e citazioni, controllate da un secondo modello e da una persona a campione;
• i test ripetuti a ogni modifica di pezzi, indice, istruzioni o modello.

Quali errori fanno salire costi ed errori?

• Pezzi troppo grandi o senza contesto. Il modello riceve testo inutile o frasi orfane del loro titolo.
• Nessun test prima del lancio. Senza una lista di domande vere non sai se una modifica migliora o peggiora.
• Documenti vecchi nell'indice. La risposta è corretta rispetto alla fonte, ma la fonte è scaduta.
• Piani gratuiti con dati dei clienti. Alcuni prevedono l'uso dei contenuti per migliorare i prodotti: leggi la guida su GDPR e intelligenza artificiale.
• Nessuna dashboard dei costi. Il costo per domanda va guardato come il tempo di risposta: ogni settimana.

Se la RAG è il motore di un assistente che deve anche agire, come aprire ticket o aggiornare il CRM, sei nel territorio degli agenti: parti da cosa sono gli agenti AI e da come creare un agente AI. Se stai ancora scegliendo dove usare l'AI, la guida su come usare l'intelligenza artificiale in una startup aiuta a partire dal caso giusto.