Aktualizacja 13 kwietnia: Artykuł pierwotnie opublikowany 10 kwietnia.
Być może jest to najnowsze modne hasło dotyczące Androida, ale iPhone firmy Apple nie jest postrzegany jako smartfon wyposażony w sztuczną inteligencję. To się zmieni i teraz znamy jeden sposób, w jaki Tim Cook i jego zespół planują nadrobić zaległości.
Szczegóły podano w nowo opublikowanym artykule naukowców z Cornell University współpracujących z Apple. Pod tytulem „Ferret-UI: Zrozumienie ugruntowanego mobilnego interfejsu użytkownika z multimodalnymi LLM„, zawiera szczegółowe informacje na temat dużego, wielomodalnego modelu językowego, który można wykorzystać do zrozumienia tego, co jest wyświetlane na ekranie, w szczególności elementów mobilnego interfejsu użytkownika, takiego jak wyświetlacz iPhone'a.
Dzięki ogromnej ilości danych szkoleniowych możliwe jest wybieranie ikon, wyszukiwanie tekstu, analiza elementów interfejsu użytkownika, opisywanie tekstu na ekranie, analiza elementów interfejsu oraz interakcja z ekranem, kierując się otwartymi instrukcjami i podpowiedziami.
Ferret został wypuszczony w październiku 2023 r. i ma za zadanie analizować zdjęcia i obrazy w celu identyfikacji tego, co było na wystawie. Ta aktualizacja szybko zatytułowanego interfejsu Ferret-UI zapewni wiele korzyści użytkownikom korzystającym z niego na iPhone'ach i będzie mogła z łatwością dopasować się do ulepszonej Siri opartej na sztucznej inteligencji.
Możliwość opisania ekranu, niezależnie od aplikacji, otwiera bogatszą drogę do aplikacji ułatwiających dostępność, eliminując konieczność wcześniejszego programowania reakcji i akcji. Ci, którzy chcą wykonywać złożone zadania lub znaleźć niejasne opcje w swoim telefonie, mogą poprosić Siri o otwarcie złożonej aplikacji i skorzystanie z tajemniczej funkcji ukrytej głęboko w systemie menu.
Programiści mogą używać Ferret-UI jako narzędzia testowego, prosząc MLMM, aby zachowywał się tak, jakby był 14-latkiem z niewielkim doświadczeniem w sieciach społecznościowych i wykonywał zadania lub symulował 75-letniego użytkownika próbującego korzystać z Facetime za pomocą swoich wnuków.
Aktualizacja: sobota, 13 kwietnia: Wraz z artykułem akademickim sugerującym aktualizację AI dla Siri, kod zaplecza Odkryte przez Nicolasa Alvareza Dotyczy nowych narzędzi serwerowych dla poszczególnych iPhone'ów.
Funkcje te nazywane są „Asystentem przeglądania Safari” i „Szyfrowanym wyszukiwaniem wizualnym”. Obydwa są powiązane z funkcjami opisanymi w badaniu Ferret-UI, choć odkrycia te wiążą się z pewnymi zastrzeżeniami. Jest to kod po stronie serwera, więc łatwo byłoby zmienić te funkcje, aby używały innego kodu; Mogą łączyć bardziej zhakowany kod zamiast korzystać ze sztucznej inteligencji; Mogą to być również elementy zastępcze, które mogą, ale nie muszą, zostać wykorzystane w przyszłych produktach.
Warto zauważyć, że wyszukiwanie wizualne zostało ukryte w kodzie systemu operacyjnego VisionOS i zestawu słuchawkowego Apple Vision Pro, ale funkcja ta nie została jeszcze wypuszczona.
Chociaż nie są to mocne oznaki na drodze Apple do sztucznej inteligencji jako takie, stanowią one część coraz większej liczby dowodów potwierdzających podejście Apple.
Google publicznie rozpoczął swoje działania na smartfonach ze sztuczną inteligencją 4 października, nieco ponad trzy tygodnie po premierze iPhone'a 15. Tim Cook i jego zespół nie wydali żadnych znaczących ogłoszeń ani nie zwrócili uwagi na ulepszenia AI znalezione w ich smartfonach. Przetwarzanie obrazu lub automatyczna korekta tekstu, dające Androidowi przewagę w AI i umożliwiające platformie mobilnej Google wyznaczanie oczekiwań.
Ogólnoświatowa konferencja programistów Apple odbywa się w czerwcu i będzie to pierwszy moment, w którym Apple będzie mógł nawiązać kontakt ze społeczeństwem w celu omówienia swoich planów dotyczących sztucznej inteligencji, stanowiących podwaliny pod premierę iPhone'a 16 i iPhone'a 16 Pro we wrześniu.
Do tego czasu musimy się trzymać akademickiej strony podejścia Apple do sztucznej inteligencji.
Przeczytaj teraz, dlaczego podejście iPhone'a do sztucznej inteligencji zakłóca specyfikację iPhone'a 16 i iPhone'a 16 Plus…
Chodź za mną Świergot Lub LinkedIn. spłacać Dla mnie strona internetowa.
„Lekarz gier. Fanatyk zombie. Studio muzyczne. Kawiarni ninja. Miłośnik telewizji. Miły fanatyk alkoholik.
