EO IPT
EO IPT to projekt mający na celu zbadanie możliwości wykorzystania technologii "big data" w chmurze obliczeniowej, dedykowanej przetwarzaniu danych obserwacji Ziemi, oraz analizę odpowiadającego modelu biznesowego.
Potrzeba
Europejska Agencja Kosmiczna (ESA - European Space Agency) to międzynarodowa organizacja 22 państw europejskich, której celem jest eksploracja i wykorzystanie przestrzeni kosmicznej. W 2014 roku ESA rozpoznała potrzebę opracowania nowego modelu dystrybucji danych satelitarnych dostarczanych przez liczne inicjatywy programu Copernicus, zwłaszcza satelity z rodziny "Sentinel" oraz ich pochodne. Ówczesna koncepcja przetrzymywania i udostępniania danych przewidywała ściąganie i przetwarzanie potrzebnych danych przy użyciu infrastruktury użytkowników. Rozwiązanie to przestaje być wydajne, gdy ilość pobieranych danych przekracza osiągalną przepustowość łącza oraz zasoby obliczeniowe posiadane przez potencjalnych użytkowników.
W odpowiedzi na wyzwania związane z transferem wielkich ilości danych i ich przetwarzaniem, ESA przygotowała strategię rozwoju naziemnej infrastruktury obsługującej produkty satelitarne (Earth Observation Ground Segment Evolution Strategy). Pierwsze rozwojowe platformy testowe zostały zainicjowane pod nazwą TEP (Thematic Exploitation Platform) i miały na celu przetestowanie dostępnych rozwiązań technologicznych oraz modeli działania pod kątem przetwarzania danych obserwacji Ziemi, w różnych obszarach zastosowań.
Następstwem opisanych powyżej aktywności było rozpisanie konkursu na zaprojektowanie, zbudowanie i obsługę innowacyjnej platformy, pozwalającej na zbadanie zdolności ówcześnie dostępnej technologii chmur obliczeniowych do obsługi procesów produkcyjnych wykorzystujących dane obserwacji ziemi. CloudFerro, jako kluczowy udziałowiec konsorcjum, zostało wybrane do realizacji projektu EO IPT.
Rozwiązanie
Projekt EO IPT stanowił odpowiedź na pytania dotyczące optymalnego modelu funkcjonowania oraz gotowości rynku chmur obliczeniowych do obsługi danych teledetekcyjnych-w szczególności pochodzenia satelitarnego-oraz środowisk do ich przetwarzania. Opracowany został nowy paradygmat wyszukiwania, pobierania i przetwarzania produktów satelitarnych. Środowisko stworzone przez CloudFerro skumulowało ponad 5000 TB (5 PB) danych pochodzących głównie z działalności satelitów z rodzin Sentinel oraz Landsat, oraz produktów pochodnych. Dzięki stworzeniu, w ramach jednego środowiska, infrastruktury składającej się z ponad 1500 rdzeni wirtualnych, 7TB pamięci operacyjnej RAM i 500TB dedykowanej pamięci na dyskach, przetwarzanie zebranych danych stało się możliwe dla wielu podmiotów.
Osiągnięcie założonych przez ESA celów wymagało stworzenia, dalszego rozwoju i utrzymywania wydajnego, elastycznego i zdolnego obsługiwać petabajty danych repozytorium danych z obserwacji Ziemi. Takie repozytorium musiało być skalowalne, niezależnie od okoliczności, aby pomieścić wymagane zestawy danych. W wyniku analizy dostępnych rozwiązań, technologia CEPH (programowo definiowalne przechowywanie, SDS - software defined storage) została wybrana jako podstawowe narzędzie dostępu do danych. Mając na celu zwiększenie możliwości użytkowników, aby tworzyć zaawansowane łańcuchy produkcyjne, zbiór danych został uzupełniony o dedykowaną chmurę obliczeniową (maszyny wirtualne, dyski SSD i HDD, sieci wirtualne, zapory ogniowe). Infrastruktura została podłączona do stabilnego, redundantnego, szerokopasmowego łącza.
Mając na celu zwiększenie wydajności i komfortu działania użytkowników korzystających z danych satelitarnych, przykładowe przetwarzania danych zostały opracowane lub wybrane i włączone do środowiska EO IPT, razem z zestawem dedykowanych narzędzi, np. Sentinel Toolbox.
Moduły OpenStack infrastruktury EO IPT
W procesie projektowania platformy, by zachować maksymalną dostępność i użyteczność platformy, zespół CloudFerro zdecydował się na wykorzystanie oprogramowania OpenStack do wirtualizacji i zarządzania zasobami. OpenStack to oprogramowanie chmurowe "open source", zaprojektowane do zarządzania dużymi zbiorami danych, komponentami obliczeniowymi i sieciowymi.
Infrastruktura stworzona na potrzeby EO IPT składała się z licznych modułów OpenStack'a, w tym następujących:
Moduł identyfikacyjny ("Keystone")
odpowiadający za autoryzację użytkowników platformy we wszystkich serwisach
Panel kontrolny ("Horizon")
za pomocą, którego użytkownicy zarządzają zasobami chmurowymi
Pamięć obiektowa ("Swift")
moduł zarządzający pamięcią obiektową. Zapewnia skalowalne, redundantne rozwiązanie dla całej chmury
Pamięć masowa ("Cinder")
moduł zarządzający pamięcią masową
Maszyny fizyczne ("Ironic")
moduł zarządzający maszynami fizycznymi (tzw. baremetal)
Orkiestracja ("Heat")
moduł odpowiadający za orkiestracje systemów i wprowadzanie zmian
Korzyści dla użytkowników
W wyniku implementacji innowacyjnej platformy testowej danych obserwacji Ziemi EO IPT, osiągnięte zostały następujące efekty:
- Wsparcie rozwoju usług opartych o przetwarzanie zdjęć satelitarnych poprzez zmniejszenie wymagań technologicznych stojących przed podmiotami wykorzystującymi te dane.
- Demonstracja opłacalności modelu biznesowego opartego o integracje danych, usług i serwisów dostarczanych przez ESA i jej partnerów, w tym platformę TEP wyspecjalizowaną w tematyce rolniczej.
- Wprowadzenie i przetestowanie modelu "pay-per-use" w warunkach rynkowych, który nie był testowany wcześniej na polu teledetekcji.
- Udostępnienie ważnego, szerokiego zbioru publicznych i darmowych danych podmiotom zewnętrznym, w środowisku dostarczającym zasoby obliczeniowe i infrastrukturę sieciową, pozwalającą na przetwarzanie tych danych.
- Zrealizowane badania nad metodami integracji usług, kolekcji danych i produktów pochodzenia zewnętrznego, z komercyjną platformą obliczeniową wyspecjalizowaną w danych obserwacji Ziemi.
- Promocja wprowadzonych rozwiązań i platformy wśród podmiotów będących potencjalnymi użytkownikami i klientami.
- Zwiększenie świadomości w zróżnicowanych środowiskach odnośnie potencjału leżącego w wykorzystaniu danych satelitarnych i możliwości ich zastosowania.
Podsumowanie
EO IPT stało się kamieniem milowym w procesie badania i rozwoju strategii utrzymania, obsługi i udostępniania danych obserwacji Ziemi oraz ich pochodnych, w środowisku serwisów chmurowych. Sukces osiągnięty w projekcie znacząco wsparł ESA oraz program Copernicus w działaniach na rzecz przyszłego wykorzystania zdjęć satelitarnych. Działanie platformy pozwoliło wszystkim zaangażowanym stronom zebrać cenne doświadczenie i wiedzę dotyczącą adresowania ówczesnych i przyszłych wyzwań stojących przed branżą.
