Notizia

Apr 24, 2023

LlamaIndex aggiunge dati privati ​​a modelli linguistici di grandi dimensioni

Last fall, after playing around with OpenAI’s GPT-3 text-generating AI model —

Lo scorso autunno, dopo aver giocato con il modello di intelligenza artificiale per la generazione di testo GPT-3 di OpenAI (il predecessore di GPT-4), l'ex ricercatore di Uber Jerry Liu ha scoperto quelle che definisce "limitazioni" sulla capacità del modello di lavorare con dati privati ​​(ad esempio, file personali). Per risolvere questo problema, ha lanciato un progetto open source, LlamaIndex, progettato per sbloccare le capacità e i casi d'uso di modelli linguistici di grandi dimensioni (LLM) come GPT-3 e GPT-4.

"I LLM offrono incredibili capacità di estrazione e ragionamento della conoscenza: possono rispondere a domande, riassumere ed estrarre informazioni e persino prendere decisioni sequenziali con un ambiente esterno", ha dichiarato Liu a TechCrunch in un'intervista via e-mail. "Ma i LLM hanno dei limiti."

Man mano che il progetto cresceva in popolarità (per un importo di 200.000 download mensili), Liu ha unito le forze con Simon Suo, uno dei suoi vecchi colleghi di Uber, per trasformare LlamaIndex in un'azienda a tutti gli effetti. Oggi, LlamaIndex (la società) offre un framework per aiutare gli sviluppatori a sfruttare le capacità dei LLM oltre ai propri dati personali o organizzativi.

"LlamaIndex [aiuta] gli sviluppatori a gestire i propri dati per le applicazioni LLM", ha affermato Liu. "Il nostro toolkit contiene la massima profondità in questo aspetto e ne facilitiamo l'integrazione con altri strumenti utilizzati dallo sviluppatore."

Crediti immagine:LlamaIndex

Il framework LlamaIndex consente agli sviluppatori di connettere dati da file come PDF, PowerPoint, app come Notion e Slack e database come Postgres e MongoDB a LLM. Il framework include connettori per acquisire origini dati e formati di dati, nonché modi per strutturare i dati in modo che possano essere facilmente utilizzati con i LLM.

Inoltre, LlamaIndex è dotato di un'interfaccia di recupero dati e query che consente agli sviluppatori di inserire qualsiasi richiesta di input LLM per ottenere - come lo descrive Liu - output "contesto e conoscenza aumentata".

"Esistono altri framework applicativi LLM che offrono elementi costitutivi di base per applicazioni e agenti LLM", ha affermato Liu. "La specificità di LlamaIndex è che ci concentriamo sulla connessione delle origini dati con i LLM e disponiamo di strumenti estesi per l'acquisizione dei dati, la gestione, l'indicizzazione e il recupero dei dati rispetto alle applicazioni LLM."

La prospettiva di aumentare gli LLM in questo modo ha corteggiato gli investitori, che hanno promesso 8,5 milioni di dollari a LlamaIndex in un round di finanziamento seed recentemente chiuso. Greylock ha guidato con la partecipazione di angel investor, tra cui Jack Altman, Lenny Rachitsky e Charles Xie.

Quindi in cosa spenderà i soldi LlamaIndex? Liu afferma che verrà utilizzato per costruire una "soluzione aziendale" in cima al progetto open source LlamaIndex, il cui lancio è previsto entro la fine dell'anno. Una funzionalità consentirà ai clienti di utilizzare connettori dati "di livello di protezione" per analizzare e trasportare grandi volumi di dati, mentre un'altra funzionalità correlata consentirà loro di indicizzare dati "specifici del dominio".

"LlamaIndex non è legato a uno specifico elemento tecnologico, quindi possiamo continuare a essere utilizzato con i LLM man mano che la tecnologia si evolve", ha affermato Liu. "Il settore dell'intelligenza artificiale si sta muovendo così rapidamente che qualsiasi stack iniziale che sta emergendo probabilmente cambierà nel corso dei prossimi mesi."