Aktualności
Europejskie technologie w obronie i przestrzeni kosmicznej
Wizyta komisarza Andriusa Kubiliusa w CloudFerro potwierdza znaczenie europejskich technologii dla bezpieczeństwa i gotowości operacyjnej Europy.
Globalne embeddingi AI w obserwacji Ziemi
Pierwszy globalny zbiór danych embedding’ów dla obserwacji Ziemi
Innowacyjny zbiór danych, integrujący najnowocześniejsze technologie sztucznej inteligencji w celu zwiększenia możliwości obserwacji Ziemi, umożliwiając bardziej precyzyjną i skalowalną analizę danych satelitarnych.
- Ponad 170 milionów embedding'ów
- Ponad 62 TB surowych danych
- 9.368 bilionów pikseli
opis rozwiązania
Czym są embeddingi?
Embeddingi to wielowymiarowe wektory, które przekształcają złożone dane w reprezentacje numeryczne, przechwytując relacje i znaczenia.
Poprzez przekształcanie słów, obrazów lub całych dokumentów w tej przestrzeni, embeddingi zachowują semantyczne właściwości oryginalnych danych, umożliwiając modelom sztucznej inteligencji dokładne zrozumienie i przetwarzanie ich kontekstu.
Pozwala to na identyfikację wzorców, podobieństw i powiązań, które w przeciwnym razie mogłyby być trudnymi do wykrycia.
Co umożliwiają embeddingi?
Przetwarzanie surowych danych przez sztuczną inteligencję
Embeddingi przekształcają surowe dane w ustrukturyzowany format, który można skutecznie analizować, umożliwiając modelom sztucznej inteligencji wydobywanie pogłębionych wniosków i relacji.
Dokładniejsze analizy
Poprzez uchwycenie kryjących się za danymi wzorców i powiązań, embeddingi umożliwiają dokładniejszą i bardziej świadomą analizę kontekstową, potrzebną w uczeniu maszynowym, rozumieniu języka naturalnego i widzeniu komputerowym.
Fundament skalowalności
Embeddingi otwierają nowe możliwości w szerokim zakresie zastosowań, od modelowania predykcyjnego po zaawansowane systemy decyzyjne.
Pierwszy globalny zbiór danych embeddingi
Pierwszy globalny zbiór danych embedding’ów dla obserwacji Ziemi jako wynik współpracy CloudFerro i Φ-lab ESA. Ten innowacyjny zbiór danych integruje najnowocześniejsze technologie sztucznej inteligencji w celu zwiększenia możliwości obserwacji Ziemi, pozwalając na bardziej precyzyjną i skalowalną analizę danych satelitarnych. Wykorzystując moc instancji bazującej na akceleracji GPU dostarczanych przez CloudFerro, która nie tylko współdzieli infrastrukturę, ale także odgrywa kluczową rolę w przygotowywaniu embedding'ów, wraz z doświadczeniem ESA Φ-lab.
Jako zespół CloudFerro stworzyliśmy wysokowydajne środowisko obliczeniowe, zdolne do przetwarzania ogromnych ilości danych z obserwacji Ziemi, na niespotykaną dotąd skalę. Globalne embeddingi zostały obliczone przy użyciu platformy usług w chmurze CREODIAS, zasilanej przez instancje oparte na akceleracji GPU dostarczane przez CloudFerro.
Wartość dla danych obserwacji Ziemi
Embeddingi są coraz bardziej wartościowe w dziedzinie obserwacji Ziemi (EO), z uwagi na oferowany szereg zastosowań dla profesjonalistów z tego sektora.
Wspieranie profesjonalistów EO
Embeddingi mogą być wykorzystywane przez wielu specjalistów z całego sektora obserwacji Ziemi: naukowców zajmujących się teledetekcją, analityków geoprzestrzennych i badaczy środowiska.
Szeroki zakres zastosowań
Naukowcy zajmujący się danymi i inżynierowie uczenia maszynowego w EO mogą stosować embeddingi do przetwarzania i analizowania dużych ilości danych geoprzestrzennych do zadań takich jak rozpoznawanie wzorców, wykrywanie anomalii i modelowanie predykcyjne.
Skuteczna reprezentacja danych
Użytkownicy mogą wykorzystywać embeddingi do pozyskiwania istotnych cech ze zdjęć satelitarnych, danych z czujników i systemów informacji geograficznej (GIS), umożliwiając bardziej wydajną analizę złożonych relacji przestrzennych, oszczędzając czas i zasoby.
Uproszczone przetwarzanie danych satelitarnych
Dzięki CloudFerro obsługującemu obliczenia embedding'ów, użytkownicy mogą przenosić złożone zadania obliczeniowe do chmury, co pozwala im pracować z lżejszymi, wstępnie przetworzonymi embeddingami, zamiast samodzielnie zarządzać dużymi, złożonymi zbiorami danych satelitarnych.
Globalne embeddingi dla zdjęć satelitarnych
CloudFerro, we współpracy z ESA Phi Lab, z powodzeniem obliczyło globalne embeddingi oparte na zaawansowanych modelach sztucznej inteligencji dla obrazów Sentinel-2 i Sentinel-1 w rozdzielczości 10 metrów. Wykorzystując modele wizyjne ogólnego przeznaczenia, takie jak SigLIP i DINOv2, wraz z modelami obserwacji Ziemi SSL4EO. Niniejsze globalne osiągnięcie stanowi znaczący postęp w podejmowanych przez nas wysiłkach, stanowiąc istotny krok w skali i zakresie przetwarzania danych z obserwacji Ziemi.
Ponad 170 milionów embeddingów z bilionów pikseli
Wygenerowano ponad 170 milionów embeddingów z ponad 62 TB surowych danych, uzyskując informacje z 9,368 bilionów pikseli danych źródłowych. Ta kompleksowa analiza obejmowała przetworzenie ponad 8 milionów obrazów Sentinel-1 i Sentinel-2 ze zbioru danych Major TOM.
CloudFerro i Phi Lab stworzyły wydajną reprezentację danych, która rejestruje kluczowe zależności i informacje, umożliwiając szybsze przetwarzanie, łatwiejszą analizę i bardziej przydatne dane do podejmowania trafniejszych decyzji. Praca ta jest częścią rozszerzonego standardu udostępniania Major TOM. Rozszerzenia (Embedding Expansions) dostępne są poprzez otwarte zbiory danych na HuggingFace, w tym:
Udoskonalenie odkrywania trendów i zastosowań np. w rolnictwie, zarządzaniu gruntami i przywracaniu obrazów dzięki embeddingom opartym na sztucznej inteligencji.
Embeddingi AI odblokowują różnorodne możliwości bardziej zaawansowanej i wydajnej analizy zdjęć satelitarnych.
Embeddingi mogą ulepszyć przeglądarki obrazów satelitarnych, umożliwiając użytkownikom szybkie i dokładne eksplorowanie ogromnych zbiorów danych z ulepszoną nawigacją i kontekstem. Dzięki wyszukiwaniu podobieństw można zidentyfikować wzorce i trendy ze zdjęć satelitarnych w skali globalnej, odblokowując wgląd we wzorce klimatyczne, urbanizację i zdarzenia naturalne. Ponadto embeddingi oparte na sztucznej inteligencji pomagają modelować plony, poprawiając prognozy rolnicze, jednocześnie pomagając w przywracaniu obrazów w celu uzyskania wyraźniejszych i bardziej precyzyjnych wizualizacji. W przypadku klasyfikacji pokrycia terenu, embeddingi umożliwiają dokładniejsze mapowanie różnych terenów i rodzajów upraw, wspierając lepsze zarządzanie gruntami i alokację zasobów.
Dalsze kroki
Analiza embedding'ów w zadaniach EO, integracja modeli fundamentalnych i rozszerzenie dostępności zasobów za pośrednictwem repozytorium CREODIAS.
Następne kroki obejmują testowanie i ocenę obliczonych embeddingów w szeregu zadań obserwacji Ziemi (EO) w celu oceny ich wydajności i możliwości korzystania z nich w wielu realnych zastosowaniach. Dodatkowo przeprowadzone zostaną dalsze testy z innymi modelami fundamentalnymi obserwacji Ziemi, w tym MMEarth i DeCUR, w celu zbadania ich integracji z istniejącymi embeddingami i optymalizacji ich możliwości. Co więcej, zbiór danych MajorTOM z embeddingami zostanie zintegrowany z repozytorium CREODIAS, zapewniając dostęp do tych materiałów szerszej społeczności badawczej związanej z badaniami obserwacji Ziemi.
Pozostałe rozwiązania
Payload Data Ground Segment
Przyspiesz przetwarzanie i udostępnianie danych satelitarnych dzięki zintegrowanemu środowisku do ingestii, przetwarzania, archiwizacji i dystrybucji danych EO.
EO Data Platform
Przetwarzaj duże zbiory danych EO bez ich pobierania, korzystając z zasobów obliczeniowych dostępnych bezpośrednio przy danych.
Area Monitoring System as a Service
Monitor agricultural areas and CAP requirements with a managed service powered by Sentinel data and cloud infrastructure.