Domande frequenti: Agenti IA locali sul Suo hardware

Dipende dalla dimensione del modello e dal numero di utenti. Per modelli fino a circa 120 miliardi di parametri in quantizzazione a 4 bit bastano dispositivi con 128 GB di memoria unificata, come un NVIDIA DGX Spark o una macchina con AMD Ryzen AI Max+ 395. I modelli più grandi richiedono un Mac Studio con M5 Ultra (fino a 512 GB; queste configurazioni vengono consegnate da fine ottobre 2026) o più dispositivi in rete. Nel workshop stabiliamo quale classe è adatta ai Suoi compiti.

Per molti compiti aziendali – riassumere, cercare nei propri documenti, redigere bozze, classificare, programmare – i modelli aperti attuali sono sufficienti. Per compiti molto complessi i grandi modelli cloud sono spesso ancora in vantaggio. Per questo testiamo i modelli in anticipo con i Suoi dati invece di affidarci ai benchmark.

L’elaborazione del modello avviene interamente sul Suo hardware. È Lei a decidere se un agente può accedere anche a Internet, per esempio per una ricerca web. Un funzionamento completamente isolato, senza connessione a Internet, è possibile ma richiede un ulteriore irrobustimento per installazione e aggiornamenti – su richiesta lo pianifichiamo.

Hermes Agent è un framework per agenti open source di Nous Research con licenza MIT. Funziona con qualsiasi server di modelli locale, offre memoria, skill, pianificatore e collegamenti a Slack, Telegram o e-mail e integra i Suoi sistemi tramite MCP. Poiché evolve rapidamente, un processo di aggiornamento regolato fa parte della nostra consegna.

Eseguiti in locale, questi modelli non inviano dati al produttore – i pesi del modello sono file sul Suo hardware. Molte varianti hanno licenza Apache 2.0 o MIT e sono utilizzabili commercialmente; verifichiamo la licenza per ogni modello. Come ogni modello hanno bisogno di limiti per il loro comportamento, e per le applicazioni a contatto con i clienti scegliamo modello e misure di protezione con particolare cura.

Sì. Gli obblighi dipendono dalla finalità, non da dove gira il modello. Il funzionamento locale facilita però controllo e documentazione, perché sa quale modello, in quale versione, elabora quali dati.