Jak podaje Sony, wprowadzenie funkcji przetwarzania AI w samym przetworniku obrazu umożliwia szybkie przetwarzanie Edge AI i selekcjonowanie tylko potrzebnych danych, co w przypadku użycia serwisów chmurowych oznacza mniejsze opóźnienia w transmisji, lepszą ochronę prywatności oraz niższe zużycie energii i koszty łączności.
- Nowe produkty zwiększą możliwości opracowywania kamer i aparatów wyposażonych w sztuczną inteligencję. Stworzą szereg nowych zastosowań w handlu detalicznym i sektorze urządzeń przemysłowych, przyczyniając się do budowy optymalnych systemów łączących z chmurą - czytamy w komunikacie Sony.
Blok pikseli jest wykonany w technologii BSI. Jego efektywna rozdzielczość wynosi ok. 12,3 megapiksela, co umożliwia rejestrację informacji przy szerokim kącie widzenia. Z kolei blok układów logicznych zawiera nie tylko standardowe obwody przetwornika obrazu, lecz także pamięć modelu AI oraz firmowy procesor sygnałowy (DSP) Sony przeznaczony do przetwarzania sygnału z użyciem sztucznej inteligencji.
Taka konfiguracja eliminuje zapotrzebowanie na wydajne procesory i zewnętrzną pamięć, dzięki czemu sprawdza się w systemach Edge AI.
Sygnały rejestrowane przez blok pikseli przechodzą przez procesor obrazu (ISP), a przetwarzanie z użyciem sztucznej inteligencji odbywa się w bloku układów logicznych. Wyselekcjonowane informacje pojawiają się na wyjściu jako metadane, zmniejszając ilość obsługiwanych danych. Ponieważ na wyjściu układu nie muszą pojawiać się informacje o obrazie, maleje zagrożenie dla bezpieczeństwa i obawy o prywatność.
Oprócz rejestracji obrazu przez standardowy przetwornik obrazu użytkownicy mogą wybrać format danych wyjściowych dostosowany do własnych potrzeb i zastosowań. Ustawienia obejmują wyjściowy format obrazu z procesora ISP (YUV/RGB) oraz obrazy z wyselekcjonowanym określonym obszarem (region zainteresowania - Region of Interest).
Kiedy do nagrywania materiału wideo służy standardowy przetwornik obrazu, do systemu przetwarzania AI trzeba przesłać informacje o każdej klatce wyjściowego obrazu, co zwiększa ilość przesyłanych danych i utrudnia uzyskanie działania w czasie rzeczywistym. Nowe przetworniki Sony wykonują przetwarzanie obrazu i szybkie przetwarzanie z użyciem AI (3,1 milisekundy dla architektury MobileNet V1) na poziomie bloku układów logicznych, realizując cały proces w jednej klatce obrazu wideo. Taki system pozwala zapewnić dokładne śledzenie obiektów w czasie rzeczywistym przy nagrywaniu filmów.
Użytkownik może zapisywać w wewnętrznej pamięci wybrane przez siebie modele AI oraz zastępować je i aktualizować odpowiednio do własnych wymagań lub warunków, w których używany jest system. Przykładowo, jeśli w miejscu sprzedaży detalicznej zainstalowanych jest wiele kamer wykorzystujących ten produkt, można używać jednego rodzaju kamery, uzyskując uniwersalność w różnych miejscach, okolicznościach, godzinach lub zastosowaniach.
Kamera znajdująca się w wejściu do obiektu umożliwi zliczanie wchodzących klientów, zainstalowana na półce - wykrywanie braków towaru, a pod sufitem - tworzenie map ciepła (wykrywanie miejsc, w których gromadzi się dużo osób). Co więcej, model AI w danej kamerze będzie można zmienić, by na przykład zastąpić tworzenie map ciepła identyfikacją zachowań konsumentów.
