La piattaforma Urania di E4 permette alle imprese di creare propri sistemi di Data Science, AI e GenAI. Con il vantaggio di un completo controllo sulla gestione dei dati.
Autore: Redazione InnovationCity
Le imprese oggi vedono nell'AI - e in particolare nella "nuova" AI generativa - una opportunità da cogliere. Ma anche, giustamente, qualche potenziale rischio nella tutela di informazioni sensibili e proprietà intellettuali. Il problema è noto: per operare gli algoritmi di AI devono "macinare" grandi quantità di dati e le aziende, per avere risultati mirati sulle proprie esigenze, devono ovviamente fornire anche i propri. Fin qui, nulla di nuovo. È sempre successo nel mondo della data analytics.
Oggi però le aziende hanno qualche perplessità in più: i servizi di GenAI non sono sotto il loro diretto controllo e c'è il rischio concreto che le informazioni aziendali date in pasto agli algoritmi siano carpite da altri, usate impropriamente, rese pubbliche, quantomeno usate per addestrare sistemi che poi saranno usati anche da altre imprese magari concorrenti.
La soluzione a tutto questo è chiaramente addestrare direttamente "in casa" gli algoritmi di AI, ma è una operazione che richiede competenze ben specifiche. Per aiutare le aziende che intendono porsi su questa strada - e non solo, come vedremo - la emiliana E4 Computer Engineering ha sviluppato Urania, una piattaforma completa per l'AI e la Data Science on-premise.
"Urania - spiega Mario Rosati, CEO di E4 Analytics, la "sister company" di E4 creata per fornire consulenza e servizi professionali in ambito Big Data analytics e AI - può seguire tutto il ciclo di vita del dato dal punto di vista della Data Science, spaziando dall'addestramento dei modelli sino alla possibilità di integrare modelli addestrati in applicazioni specifiche".
La piattaforma di E4 è una soluzione nativa cloud basata sulla containerizzazione e su una versione ottimizzata di Kubernetes, a cui sono state aggiunte componenti che permettono l'uso nativo di GPU e di reti ad alte prestazioni. "In questo modo Kubernetes diventa una piattaforma che orchestra carichi di lavoro numericamente intensivi", spiega Rosati, ma Kubernetes è stato anche (relativamente) semplificato nella parte di gestione e potenziato nelle componenti per lo storage, sempre pensando alle applicazioni di AI e Data Science.
Nello sviluppo di Urania, E4 si è data due target di mercato principali: tutto il mondo università e ricerca, sempre interessato a nuove soluzioni per il calcolo, e le aziende che hanno necessità di avere una infrastruttura cloud-native per il calcolo tecnico-scientifico orientato alla Data Science.
In realtà il bacino potenziale di utenza è anche più ampio, perché Urania può anche essere usata "semplicemente" per ospitare modelli addestrati altrove, aggiungendovi le sue proprie funzioni.. Addestrare un LLM da zero è alla portata di pochi, ma le operazioni di ri-addestramento e finetuning richiedono molte meno risorse di computing e sono gestibili dalle imprese utenti.
In uno scenario d'uso che sarà probabilmente sempre più comune nell'utilizzo degli LLM, Urania può ad esempio partire da un LLM pre-addestrato e provvedere alla sua "specializzazione" su un ambito specifico usando i dati - privati e protetti, a questo punto - dell'azienda utente. In questo modo si può ad esempio creare un assistente virtuale specializzato sulla knowledge aziendale e gestire il suo utilizzo, usando una infrastruttura IT tutto sommato contenuta.
Scenari di "private LLM" come questo saranno sempre più importanti perché garantiscono la privacy dei dati aziendali, ma anche perché in prospettiva puntare solo sull'AI in cloud per molte imprese non sarà praticabile.
"Il cloud funziona molto bene sino a quando la potenza in gioco è relativamente piccola - spiega Rosati - ma quando dobbiamo usare strumenti di calcolo complessi, i costi cominciano a diventare importanti". Inoltre, modelli complessi hanno un loro tempo di caricamento e non è accettabile che questo venga percepito dall'utilizzatore finale ogni volta che, ad esempio, si attiva un assistente virtuale. "Per evitarlo dobbiamo avere modelli inferenziali senza latenza, già pre-caricati sulle GPU: in questi casi il pay-per-use del cloud non sarebbe affatto vantaggioso", sottolinea Rosati.