Apple conferma l'innovativo aggiornamento di iPhone 16 Pro

Aggiornato il 13 aprile: articolo originariamente pubblicato il 10 aprile.

Potrebbe essere l'ultima parola d'ordine di Android, ma l'iPhone di Apple non è visto come uno smartphone AI. Le cose sono destinate a cambiare e ora sappiamo in che modo Tim Cook e il suo team intendono recuperare il ritardo.

I dettagli sono contenuti in un documento appena pubblicato dai ricercatori della Cornell University che lavorano con Apple. Intitolato “Ferret-UI: comprensione dell'interfaccia utente mobile con basi LLM multimodali“, descrive in dettaglio un ampio modello linguistico multimodale che può essere utilizzato per comprendere ciò che viene visualizzato su uno schermo, in particolare gli elementi in un'interfaccia utente mobile, come il display di un iPhone.

Grazie all'enorme quantità di dati di addestramento, è possibile selezionare icone, trovare testo, analizzare elementi dell'interfaccia utente, descrivere il testo sullo schermo, analizzare elementi dell'interfaccia e interagire con lo schermo guidati da istruzioni e prompt aperti.

Ferret è stato rilasciato nell'ottobre 2023 ed è progettato per analizzare foto e immagini per identificare ciò che era in mostra. Questo aggiornamento all'interfaccia utente Ferret, rapidamente denominata, offrirà molti vantaggi a coloro che lo utilizzano con i loro iPhone e potranno facilmente adattarsi a Siri migliorato basato sull'intelligenza artificiale.

La capacità di descrivere una schermata, indipendentemente dall'applicazione, apre un percorso più ricco verso le applicazioni di accessibilità, eliminando la necessità di pre-programmare risposte e azioni. Coloro che desiderano eseguire attività complesse o trovare opzioni oscure sul proprio telefono possono chiedere a Siri di aprire un'app complessa e utilizzare una funzione misteriosa nascosta nel profondo del sistema di menu.

Gli sviluppatori possono utilizzare Ferret-UI come strumento di test, chiedendo a MLMM di comportarsi come se fossero un quattordicenne con poca esperienza di social networking per eseguire attività o simulare un utente di 75 anni che tenta di utilizzare FaceTime utilizzando i propri nipoti.

Aggiornamento: sabato 13 aprile: insieme al documento accademico che suggerisce un aggiornamento dell'IA per Siri, il codice backend Scoperto da Nicolas Alvarez Si riferisce a nuovi strumenti lato server per i singoli iPhone.

Le funzionalità si chiamano “Safari Browsing Assistant” e “Ricerca visiva crittografata”. Entrambi sono correlati alle caratteristiche descritte nella ricerca Ferret-UI, sebbene questi risultati siano accompagnati da alcuni avvertimenti. Questo è codice lato server, quindi sarebbe facile modificare queste funzionalità per utilizzare codice diverso; Possono collegare codice più banale invece di utilizzare l’intelligenza artificiale; Oppure potrebbero essere segnaposto che potrebbero essere utilizzati o meno nei prodotti futuri.

Vale la pena notare che la ricerca visiva è stata vista nascosta nel codice del sistema operativo VisionOS e nelle cuffie Apple Vision Pro, ma questa funzionalità non è stata ancora rilasciata.

Sebbene questi non siano segnali forti sul percorso di Apple verso l’intelligenza artificiale di per sé, fanno parte di un numero crescente di prove dell’approccio di Apple.

Google ha iniziato pubblicamente a spingere gli smartphone con intelligenza artificiale il 4 ottobre, poco più di tre settimane dopo il lancio dell'iPhone 15. Tim Cook e il suo team non hanno fatto annunci degni di nota né attirato l'attenzione sui miglioramenti dell'intelligenza artificiale riscontrati nei loro smartphone. L'elaborazione delle immagini o la correzione automatica del testo danno ad Android un vantaggio nell'intelligenza artificiale e consentono alla piattaforma mobile di Google di definire le aspettative.

La Worldwide Developers Conference di Apple si svolgerà a giugno e questo sarà il primo momento in cui Apple potrà interagire con il pubblico per discutere i suoi piani di intelligenza artificiale mentre getta le basi per il lancio di iPhone 16 e iPhone 16 Pro a settembre.

Fino ad allora, dobbiamo attenerci al lato accademico dell’approccio di Apple all’intelligenza artificiale.

Leggi ora perché l'approccio di iPhone all'intelligenza artificiale sta rivoluzionando le specifiche di iPhone 16 e iPhone 16 Plus…

Seguimi Twitter O LinkedIn. pagando per me sito web.