Perplexity punta su AI locale per ridurre costi e migliorare privacy

Perplexity, azienda specializzata in servizi di ricerca AI, sta cercando di entrare nel settore dell’AI locale, puntando su un’offensiva che combina hardware avanzato e modelli open-weight per ridurre i costi e migliorare la privacy. L’azienda ha lanciato un prodotto chiamato Portable Computer, che si basa su un’architettura composta da un agente, un orchestratore e modelli di intelligenza artificiale eseguiti su un workstation Nvidia DGX Spark. Questo sistema permette di sfruttare l’AI locale, con la possibilità di integrare l’inferenza cloud quando necessario. L’obiettivo è offrire una soluzione che permetta di gestire compiti di lavoro reale a costi quasi nulli, senza dover trasmettere dati sensibili al cloud.

Hardware e modelli open-weight: la chiave per l’efficienza

Il sistema Portable Computer si distingue per l’uso di modelli open-weight, come il Nemotron 3.5 Lightning di Nvidia (30B parametri), il Qwen 3.6 (35B) e il Qwen 3.8 (27B), che si dimostrano particolarmente efficienti e capaci di gestire compiti complessi. Perplexity ha sottolineato come questi modelli, combinati con hardware locali come il DGX Spark, possano offrire un’esperienza di inferenza a costi ridotti, evitando le spese per token su API cloud. Questo approccio local-first risolve preoccupazioni di privacy e proprietà intellettuale, poiché i dati rimangono all’interno del dispositivo.

Un investimento di 30 miliardi di dollari: il ruolo di Nvidia

Il ruolo di Nvidia nel progetto è stato sottolineato da diversi osservatori, soprattutto in considerazione di un potenziale investimento di 30 miliardi di dollari in Perplexity. Questo interesse potrebbe spiegare la frequente menzione del marchio nel comunicato ufficiale, con sei riferimenti in un’unica annuncio. Perplexity ha anche sottolineato come l’uso di hardware come il DGX Spark potrebbe permetterle di esplorare le opportunità di mercato, soprattutto in un settore in cui alcuni strumenti, come Pi e Hermes, sono gratuiti.

Perplexity ha presentato benchmark che confrontano Portable Computer con due altri agenti, Pi e Hermes, dimostrando come il suo sistema possa raggiungere o superare i loro livelli di accuratezza. In particolare, il modello Qwen 3.8 (27B) su DGX Spark ha mostrato prestazioni superiori in test come BrowseComp e ParseBench-100, utilizzando anche meno token. L’azienda ha concluso che un modello open-weight e un hardware locale adeguato, insieme a un buon agente, possono gestire compiti di lavoro reale a costi quasi nulli.

Nonostante l’attenzione su Nvidia e i possibili investimenti, Perplexity ha anche riconosciuto che la sua politica sulla privacy non specifica direttamente Portable Computer, ma indica che raccoglie dati attraverso i suoi altri servizi. L’azienda ha quindi cercato di mettere in evidenza i vantaggi del suo approccio locale, non solo in termini di costi, ma anche di sicurezza e controllo dei dati. Con l’entrata nel settore dell’AI locale, Perplexity si posiziona come un’alternativa alle soluzioni cloud, puntando su un’efficienza e una privacy che si rivelano sempre più importanti per gli utenti.

• Portable Computer si basa su un’architettura composta da un agente, un orchestratore e modelli di intelligenza artificiale eseguiti su un workstation Nvidia DGX Spark.
• Perplexity ha sottolineato come l’approccio local-first risolva preoccupazioni di privacy e proprietà intellettuale, poiché i dati rimangono all’interno del dispositivo.
• Il modello Qwen 3.8 (27B) su DGX Spark ha mostrato prestazioni superiori in test come BrowseComp e ParseBench-100, utilizzando anche meno token.
• L’azienda ha concluso che un modello open-weight e un hardware locale adeguato, insieme a un buon agente, possono gestire compiti di lavoro reale a costi quasi nulli.