SAP Datasphere – integracja danych z różnych źródeł

Od systemów SAP przez zewnętrzne bazy danych SQL po rozwiązania Google

SAP Datasphere to obecnie jedyna rozwijana przez SAP hurtownia danych. Umożliwia integrację, transformację, ujednolicenie i przechowywanie danych z różnych systemów źródłowych. W tym opartym na chmurze środowisku modelowanie danych i tworzenie widoków oparte na interfejsie graficznym jest niezwykle intuicyjne i proste. Nie wymaga znajomości programowania czy posługiwania się składnią SQL. Zobaczmy, czy sama integracja SAP Datasphere z systemami zewnętrznymi jest równie prosta.

W przypadku łączenia SAP Datasphere do systemów S/4HANA lub SAP ECC dane mogą być przejmowane na kilka sposobów, z wykorzystaniem tabel i widoków CDS. Można je zaczytywać do SAP Datasphere lub wykorzystywać w trybie zdalnym (remote), zwłaszcza wtedy, gdy wolumen danych jest mniejszy.

W związku z tym powstaje pytanie, czy jeśli dane są zaczytywane do SAP Datasphere, obsługiwana jest również delta? Czy można wykorzystywać standardowe ekstraktory SAPI, a jeśli tak, to w jakim zakresie? Jak wygląda w SAP Datasphere zasilanie danymi pochodzącymi z zewnętrznych baz danych lub systemów źródłowych opartych na środowiskach chmurowych innych dostawców?

Na te pytania, zwłaszcza w kontekście systemów SAP, odpowiadamy w niniejszym artykule. Przedstawiamy możliwości integracji systemów SAP ze szczególnym uwzględnieniem systemów S/4HANA i SAP ECC. Omawiamy, w jaki sposób obsłużyliśmy ekstraktory SAPI w SAP Datasphere u jednego z naszych klientów. Opisujemy możliwości integracji SAP Datasphere z zewnętrznymi bazami danych SQL, a także rozwiązaniami chmurowymi, ze szczególnym uwzględnieniem produktów Google.

SAP S/4HANA

Niewątpliwie to właśnie SAP S/4HANA jest najlepiej zintegrowany z hurtownią danych SAP Datasphere, zarówno w wersji on-premise, jak i cloud systemu (publicznej i prywatnej). Wspieranymi źródłami danych w przypadku tego rodzaju systemów są zarówno tabele, widoki CDS (Core Data Services), ale także ekstraktory SAPI. W tym miejscu od razu warto zaznaczyć, że ekstraktory SAPI wykorzystywane powszechnie przy pozyskiwaniu danych z systemów SAP ECC do zewnętrznych hurtowni danych, np. SAP BW, mogą być w dalszym ciągu wykorzystywane w SAP Datasphere, ale nie są zalecane. Dotyczy to zarówno systemu źródłowego S/4HANA, jak i wszystkich systemów z portfolio SAP. O ograniczeniach związanych z ekstraktorami SAPI w kontekście SAP Datsphere, jak i o sposobie, w jaki zostały one przezwyciężone u jednego z naszych dużych klientów, opowiadamy więcej w dalszej części artykułu.

W systemach z rodziny S/4HANA zarówno widoki CDS, jak i tabele mogą być zaczytywane do SAP Datasphere, albo dostęp do danych w nich zawartych może być w trybie zdalnym (remote). Zdalny dostęp do danych może być szczególnie uzasadniony dla danych o mniejszym wolumenie, rzadziej potrzebnych do raportowania lub gdy liczy się ich aktualność na dany moment. W przypadku zaczytywania widoków CDS do SAP Datasphere obsługiwana jest również delta. Wymagane są do tego odpowiednie adnotacje po stronie samego widoku w systemie źródłowym. Możliwa jest również replikacja tabel i widoków CDS w czasie rzeczywistym – co kilkadziesiąt sekund.

W odniesieniu do systemów S/4HANA warto wspomnieć jeszcze o dwóch udogodnieniach:

umożliwiający automatyczne tworzenie widoków po stronie SAP Datasphere na podstawie widoków CDS reprezentujących dane podstawowe wymiarów lub faktów;

pozwalający na masowe uaktualnianie danych ze wskazanych tabel i/lub widoków CDS.

System SAP ECC

Integracja systemów SAP ECC z SAP Datasphere w dużym stopniu zależy od posiadanej wersji systemu SAP, a także od bazy danych, na której system transakcyjny jest posadowiony. W ramach środowiska testowego najstarszym systemem SAP, jaki udało nam się do SAP Datasphere podłączyć, był system SAP ECC 6.0 w wersji ABAP i BASIS 7.0. na bazie danych SQL. Dla takiej wersji systemu obsługiwanymi źródłami danych były tabele dostępne w trybie remote (zdalnym) z możliwością ich zapisania po stronie hurtowni danych w chmurze.

Znacznie więcej możliwości integracji dają systemy SAP ECC 6.0 oparte na bazie danych HANA, w wersji komponentów BASIS i ABAO minimum 7.4. Wówczas oprócz tabel źródłem danych mogą być również widoki CDS. Jednakże w tej wersji systemów ECC widoki CDS nie będą obsługiwać delty. Ponadto warto zaznaczyć, że w przypadku nowszej wersji systemu (komponent BASIS 7.5) udało się nam w środowisku testowym obsłużyć serwer SLT pozwalający na replikację tabel w czasie rzeczywistym (co kilkadziesiąt sekund). Ekstraktory SAPI są również dostępne, ale niezalecane.

Warto zaznaczyć, że w przypadku systemów opartych na SAP HANA możliwe jest podłączenie samej bazy danych. Wówczas źródłem w SAP Datasphere mogą być zdefiniowane widoki kalkulacyjne.

Case study: Wykorzystanie ekstraktorów SAPI

Ekstraktory SAPI wykorzystywane powszechnie w systemach SAP ECC do eksportu danych na zewnątrz mogą zostać użyte również w SAP Datasphere, ale nie jest to zalecane. W pierwszej kolejności niezalecany jest dostęp do nich z SAP Datasphere w trybie remote, czyli zdalnym. Wynika to z faktu, że bardzo często ekstraktory są oparte na skomplikowanych modułach funkcyjnych, co może znacznie wpływać na wydajność pozyskiwania danych do hurtowni danych.

Z drugiej strony w przypadku ładowania danych do SAP Datsphere poprzez przepływ danych z ekstraktorów utrudnione jest działanie mechanizmu delty. Dla jego skutecznego działania pola kluczowe ekstraktora powinny być identyczne jak pola kluczowe tabeli wewnętrznej po stronie SAP Datasphere. Tymczasem wiele standardowych ekstraktorów nie ma zdefiniowanych takich pól kluczowych, a ponadto niezalecane jest ich utworzenie. Czy więc z ekstraktorów SAPI w ogóle nie da się korzystać w przypadku SAP Datasphere?

Dla jednego z naszych klientów istotne było umożliwienie pozyskania danych do SAP Datasphere za pomocą ekstraktorów 2lis*, które już uprzednio były szeroko wykorzystywane, przetestowane i rozszerzone. Ponieważ ich obsługa nie był możliwa w standardzie, problem ten rozwiązano, wykorzystując wbudowany w SAP ECC komponent SAP BW. Z punktu widzenia technicznego rozwiązanie to wymagało następujących kroków po stronie SAP ECC w transakcji RSA1:

Replikacja i aktywacja źródeł danych, z których chcieliśmy skorzystać w SAP Datasphere;
Utworzenie infopakietów, które pozwoliły na obsługę standardowego mechanizmu delty;
Ustalenie nazwy technicznej tak zwanej tabeli PSA, do której miały trafiać dane z zaczytanych delt;
Zaimplementowanie łańcucha ładowania danych za pomocą infopakietów do tabeli PSA i regularne jej czyszczenie (co 30 dni), co pozwoliło na codzienne uruchomienie procesu.

Również po stronie SAP ECC, ale w środowisku Eclipse konieczne były działania związane ze zdefiniowaniem odpowiednich widoków CDS, które obsłużyłyby mechanizm delty w kontekście SAP Datasphere:

Utworzenie widoków zwracających numer ostatniego żądania z tabeli PSA dla danego źródła, tak aby wyeksportowane dane do SAP Datasphere były ograniczone tylko do danych zaczytanych do tabeli PSA z bieżącego/ostatniego dnia;
Utworzenie widoków zawierających wszystkie pola tabeli PSA dla danego źródła dla ostatniego żądania. Tak zdefiniowane widoki stanowiły właśnie podstawę do replikowania potrzebnych danych w SAP Datasphere, bazując na ekstraktorach SAPI i uwzględniając zdefiniowany dla nich mechanizm delty.

Przykład polskiej firmy produkcyjnej

Zewnętrzne bazy danych SQL

Do SAP Datasphere można podłączyć również zewnętrzne bazy danych SQL. Można to zrobić z większością z powszechnie stosowanych baz. Jednak na stronie SAP należy się upewnić, czy jest wspierana wersja posiadanej przez nas bazy danych SQL. Niektóre z baz danych, jak np. Microsoft SQL Server czy Oracle, mają wbudowane konektory już w SAP Datasphere. Oznacza to, że możliwe jest ich bezpośrednie połączenie. W pozostałych przypadkach połączenie baz danych odbywa się poprzez uniwersalny konektor JDBC.

Źródłami danych dla zewnętrznych baz danych SQL są zdefiniowane na nich tabele. Dostęp do nich jest możliwy w trybie zdalnym, jak również poprzez zaczytanie danych w zależności od posiadanej bazy danych i jej wersji. Ponadto w każdym przypadku po stronie Cloud Connectora wymagana jest instalacja adapterów odpowiednich do posiadanych baz danych SQL.

Rozwiązania chmurowe Google

Źródłem danych dla SAP Datasphere mogą być rozwiązania chmurowe nie tylko SAP, ale również firm trzecich. Przykładem jest tutaj Google BigQuery oraz Google Cloud Storage. Zwłaszcza pierwsze z tych narzędzi wydaje się ciekawe z punktu widzenia SAP Datasphere, gdyż nie wymaga ono replikacji danych. Dostęp do danych może odbywać się z SAP Datasphere całkowicie zdalnie. Co to oznacza w praktyce?

Jeśli mamy zdefiniowane Google BigQuery, które zbiera dane z takich mechanizmów jak Google Trends czy Google Advertisments, możemy wykorzystać te dane bezpośrednio w SAP Datasphere. Możliwa jest ich integracja czy zestawianie w połączeniu z danymi pochodzącymi z innych źródeł bez konieczności ich zapisywania po stronie naszej hurtowni danych.

Powyżej zostały omówione tylko wybrane systemy źródłowe SAP Datasphere i sposoby ich integracji. Lista konektorów umożliwiających połączenie do poszczególnych baz danych czy systemów jest długa. Nawet jeśli nie ma możliwości wykorzystania dla danego systemu źródłowego/bazy danych konektora dedykowanego, możliwe jest posłużenie się mechanizmem bardziej ogólnym, jak choćby wspomniane już JDBC czy usługa Odata.

Ponadto SAP Datasphere posiada wbudowane mechanizmy do eksportu danych na zewnątrz, w tym również do rozwiązań firm trzecich.

Wszystko to sprawia, że SAP Datasphere wydaje się atrakcyjnym rozwiązaniem zarówno dla dotychczasowych użytkowników systemów SAP, jak i takich, którzy dopiero zaczynają przygodę z SAP już w wersji S/4HANA lub w ogóle żadnego systemu SAP nie posiadają. Możliwości integracji i dostępu do danych jest dużo. Nie bez znaczenia pozostaje fakt, że dostęp do danych w dużej części może być realizowany z poziomu SAP Datasphere w trybie remote, bez konieczności zaczytywania danych do hurtowni. Sam interfejs środowiska jest również przyjazny i graficzny, przez co modelowanie danych może być realizowane przez zaawansowanych użytkowników kluczowych.

Przy czym stwierdzenie „zaawansowani” odnosi się przede wszystkim do konieczności posiadania przez nich wiedzy, gdzie interesujące ich dane są przechowywane po stronie systemu źródłowego, tj. w jakich tabelach lub widokach CDS.

Więcej o SAP Datasphere

SAP Datasphere to oparte na chmurze rozwiązanie do przechowywania danych, które pozwala na efektywne zarządzanie dużą ilością danych pochodzących z różnych źródeł w ujednolicony i zintegrowany sposób. Kluczowe funkcje i możliwości obejmują modelowanie danych, ich integrację i wirtualizację. Dostarcza również narzędzia umożliwiające udostępnianie informacji i współpracę pomiędzy zespołami projektowymi. To kolejna generacja rozwiązania SAP Data Warehouse Cloud.

SAP Datasphere Hurtownia danych w chmurze