NoSQL, NewSQL i algebra danych to nowości, które stanowią jednak zaledwie wycinek szeregu innowacyjnych technologii agresywnie wkraczających na rynek IT.
Większości użytkowników „baza danych” kojarzy się z relacyjnymi systemami zarządzania bazami danych (tzw. systemami RDBMS), które dominowały na rynku przez ponad 30 lat. Wkrótce ta sytuacja może jednak ulec diametralnej zmianie.
Szereg nowych podmiotów walczy dziś o to, by uszczknąć chociażby kawałeczek ogromnego „tortu”, jakim jest rynek oprogramowania do zarządzania bazami danych. Mimo stosowania różnych strategii i taktyk podmioty te mają jedną cechę wspólną: agresywną ekspansję rynkową ściśle ukierunkowaną na technologie Big Data.
Istotnym czynnikiem namnażania się nowych, alternatywnych rozwiązań jest trójkąt znany w świecie anglosaskim jako 3 x V – volume, velocity, variety, czyli ilość, prędkość, różnorodność.
Chodzi o to, że we współczesnym świecie dane są generowane i przesyłane dużo szybciej i na dużo większą skalę niż kiedykolwiek wcześniej. Są także dużo bardziej różnorodne. Oznacza to, że dzisiejszy rynek baz danych w porównaniu z rynkiem sprzed kilku dekad wygląda zupełnie inaczej i kieruje się zasadami, na które tradycyjne systemy RDBMS nie są po prostu przygotowane.
- Problem z relacyjnymi bazami danych polega na tym, że nie są one w stanie skalować ogromnych ilości różnorodnych i błyskawicznie namnażających się danych – wyjaśnia Gregory Piatetsky-Shapiro, prezes firmy KDnuggets świadczącej usługi doradcze w zakresie analityki baz danych.
To stosunkowo świeże odkrycie zawdzięczamy amerykańskiej agencji marketingowej Harte Hanks. Aż do 2013 roku firma wykorzystywała kombinację różnych baz danych, w tym Microsoft SQL Server i Oracle Real Application Clusters (RAC).
- Zauważyliśmy, że wraz ze stopniowym przyrostem ilości danych, nasze systemy nie były w stanie przetwarzać informacji w dostatecznie szybkim tempie – mówi Sean Iannuzzi, dyrektor ds. technologii i rozwoju w Harte Hanks. – Aby nadążyć za tymi zmianami, trzeba by nieustannie dokupywać nowe serwery. Chcieliśmy upewnić się, że mamy do dyspozycji platformę zdolną do skalowania danych na zewnątrz – dodaje.
Kluczowym celem organizacji było maksymalnie ograniczenie czasu przestoju, dlatego „przeniesienie się na platformę Hadoop” nie było wystarczającym rozwiązaniem.
Zamiast tego, firma zdecydowała się na wykorzystanie narzędzia Splice Machine, które nakłada pełną bazę danych SQL na popularną platformę Big Data o nazwie Hadoop i zezwala istniejącym aplikacjom na łączenie się z tą platformą.
Wszelkie takie dane muszą być ze sobą spójne, by organizacje były w stanie przeanalizować interesujące dla nich zagadnienia. W kontekście zakupów online takim zagadnieniem może być to, dlaczego użytkownicy nie kupują butów określonej marki po kliknięciu w przycisk wyboru koloru.
Wcześniej raczej nie zaprzątano sobie głowy takimi problemami.
Platforma Hadoop jest zawodnikiem wagi ciężkiej w grupie nowych graczy wkraczających dziś na rynek. Chociaż sama w sobie nie jest bazą danych, spełnia kluczową rolę z perspektywy firm zmagających się z ogromnymi zbiorami danych. Zasadniczo, Hadoop to platforma skupiona wokół danych służąca do obsługi wysoce równoległych aplikacji, która zapewnia niezwykle wysoki poziom skalowalności.
Umożliwia firmom raczej skalowanie “na zewnątrz” na zasadzie dystrybucji niż skalowanie „w górę” za pośrednictwem dodatkowych, kosztownych serwerów. Dzięki temu organizacje są w stanie stworzyć jeden gigantyczny zbiór danych, który dopiero po połączeniu ze sobą wszystkich źródeł informacji jest poddawany analizie.
Jednym z najnowszych rozwiązań alternatywnych w stosunku do systemów RDBMS jest rodzina baz danych NoSQL, do których należą między innymi MongoDB – obecnie czwarty najbardziej popularny system do zarządzania bazami danych według DB-Engines – i MarkLogic.
- Relacyjne systemy zarządzania bazami danych doskonale sprawdzały się przez ostatnie 30 lat. Powstały jednak w zupełnie innej erze, kiedy to bariery technologiczne i potrzeby rynkowe były całkowicie odmienne – mówi Joe Pasqua, wiceprezes ds. rozwoju produktów w firmie MarkLogic.
Big Data nie jest jednolitym zbiorem danych. Mimo to, homogeniczność jest podstawowym wymogiem w przypadku wielu tradycyjnych technologii.
- Wyobraźmy sobie, że jedyny program zainstalowany na naszym komputerze to Microsoft Excel, a my chcemy monitorować posty naszych znajomych albo stworzyć umowę prawną. To niewykonalne, jeżeli mamy do dyspozycji wyłącznie arkusze z kolumnami i wierszami – wyjaśnia Joe Pasqua.
Szczególnie trudnym wyzwaniem jest łączenie szczególnie dużych zbiorów danych.
- Relacyjne bazy danych wymagają podjęcia decyzji o sposobie uporządkowania kolumn jeszcze przed połączeniem wszystkich zbiorów danych w jeden. Można zdecydować się na dowolny format lub sposób uporządkowania i niezwłocznie zacząć z nich korzystać – dodaje Joe Pasqua.
Bazy danych NoSQL nie korzystają z relacyjnego modelu zarządzania danymi, ponieważ zwykle nie posiadają interfejsu SQL. Wiele baz danych NoSQL rezygnuje częściowo ze spójności danych na rzecz prędkości i innych czynników.
Zgodnie z danymi Market Research Media, na rynku NoSQL obserwuje się obecnie znaczny wzrost sprzedaży, ale nie dla każdego jest to właściwe rozwiązanie – przynajmniej nie w każdym przypadku.
Co prawda, rozwiązanie Harte Hanks znajduje się obecnie na wczesnym etapie procesu wdrożeniowego, ale już teraz firma dostrzega korzyści płynące z jego zastosowania, takie jak wyższa tolerancja błędów, większa dostępność, nadmiarowość danych, większa stabilność i ogólnie lepsza wydajność pracy.
Wiceprezes ds badań w IDC Carl Olofson twierdzi, że mamy przed sobą doskonały moment na rozwój nowych technologii do zarządzania bazami danych.
Jego zdaniem, dostępne obecnie narzędzia dużo lepiej radzą sobie z przetwarzaniem ogromnych zbiorów danych i odbywa się to w dużo bardziej elastyczny sposób niż w przeszłości.
Wcześniej takie zbiory danych musiały być „umieszczone na dysku obrotowym”, a dane ustrukturyzowane w konkretny sposób.
Dziś mamy do dyspozycji architekturę 64-bitową, dzięki której możemy zwiększać ilość dostępnej pamięci. Mamy też dostęp do znacznie szybszych sieci i możliwość łączenia ze sobą wielu komputerów tak, by funkcjonowały jako pojedyncze, gigantyczne bazy danych.
Wszystko to sprawia, że nigdy wcześniej nie mieliśmy przed sobą tylu możliwości.
Na przestrzeni lat zmianie uległ także zakres wykonywanych prac. O ile jeszcze dziesięć lat temu strony internetowe były w większości statyczne, dziś mamy do dyspozycji aktywne środowiska usług sieciowych i interaktywne usługi zakupowe. To z kolei wymaga zupełnie innego poziomu skalowalności danych.
Również firmy w inny sposób wykorzystują dane. O ile tradycyjnie organizacje skupiały większość swojej uwagi na przetwarzaniu transakcji – np. księgowaniu sprzedaży i przechowywaniu danych w łatwo dostępnych miejscach umożliwiających ich szybką analizę – dziś robią znacznie więcej.
Jednym z przykładów jest zarządzanie stanem aplikacji.
Wyobraźmy sobie na przykład grę online. Rozwiązania technologiczne muszą zapisywać każdą sesję wykonywaną w systemie i łączyć poszczególne sesje w jedną, by gra była dla użytkownika jednolitym, nieprzerwanym doświadczeniem, nawet jeśli zmiana urządzenia lub wykonywanie poszczególnych kroków jest przetwarzane za pośrednictwem różnych serwerów.
Systemy NoSQL pomogły w rozwiązaniu wielu problemów związanych z architekturą skalowania na zewnątrz, ale odrzuciły zastosowanie interfejsu SQL – mówi Monte Zweben, prezes w firmie Splice Machine. To z kolei stwarza problemy w kontekście istniejącego kodu.
Splice Machine jest przykładem innej grupy alternatywnych rozwiązanych nazywanych wspólnie NewSQL – również w tej kategorii prognozuje się silny wzrost sprzedaży w nadchodzących latach.
- Naszą misją jest zachowanie interfejsu SQL wraz z dodaniem architektury umożliwiającej skalowanie na zewnątrz. Nadszedł czas na nowe rozwiązania, ale próbujemy wprowadzić nowości w taki sposób, by użytkownicy nie musieli przepisywać swoich kodów – wyjaśnia Monte Zweben.
Rówież firma Deep Information Sciences zdecydowała się na pozostanie przy rozwiązaniach SQL, ale kieruje się zupełnie innym podejściem.
Baza danych tej firmy o nazwie DeepSQL korzysta z tego samego API i modelu relacyjnego, co MySQL, co oznacza, że nie wymaga żadnych zmian w obrębie aplikacji. Prezentuje jednak zupełnie innego postrzeganie kwestii danych dzięki wykorzystaniu technologii uczenia się maszyn.
Rozwiązanie DeepSQL jest w stanie automatycznie przystosować się do hostingu w dowolnym środowisku – fizycznym, wirtualnym lub w chmurze, eliminując tym samym konieczność ręcznej optymalizacji baz danych.
Jednym z efektów takiego rozwiązania jest znaczny wzrost wydajności i możliwość skalowania „na setki miliardów wierszy”, jak twierdzi Chad Jones, dyrektor strategiczny spółki.
Całkowicie odmienne podejście prezentuje natomiast firma Alebraix Data, która szczyci się opracowaniem pierwszego sposobu zarządzania danych opartego w całości na regułach matematycznych.
- Tworzenie oprogramowania nie opiera się na modelowaniu matematycznym tak, jak ma to miejsce w przypadku sprzętu komputerowego. Matematyka nigdy nie była fundamentem ani oprogramowania, ani tym bardziej danych. Oprogramowanie tworzone było w dużej mierze na zasadach lingwistycznych – twierdzi Charles Silver, prezes firmy Algebraix Data.
Po pięciu latach spędzonych na prowadzeniu projektów badawczych i rozwojowych firma Algebraix Data stworzyła koncepcję „algebry danych”, która polega na zastosowaniu teorii matematycznych do „uniwersalnego języka danych”.
Sekret zarządzania ogromnymi zbiorami danych polega według tej firmy na tym, że dane nadal znajdują się w niewielkich silosach informacyjnych, które nie zazębiają się z innymi danymi. Wszystko to można jednak przedstawić w sposób matematyczny.
Opracowawszy platformę bazującą na takich założeniach, firma Algebraix Data oferuje dziś firmom rozwiązania z zakresu analityki biznesowej w formie usługi. Zwiększona wydajność, pojemność i prędkość to główne korzyści obiecywane przez firmę Algebraix Data.
Czas pokaże, którzy z nowych graczy na rynku odniosą sukces, a którzy będą musieli zwinąć żagle. Jednakże, w międzyczasie, również wieloletni liderzy z ugruntowaną pozycją na rynku, jak np. Oracle, nie stoją w miejscu.
- Sektor oprogramowania to branża szczególnie podatna na trendy. Pewne rozwiązania często zyskują lub tracą na popularności, po czym znów wracają do łask użytkowników – mówi Andrew Mendelsohn, wiceprezes w firmie Oracle Database Server Technologies.
Wiele współczesnych start-upów wraca do dawnych rozwiązań, delikatnie je przerabiając. Nowe pokolenie przedsiębiorców „na nowo wymyśla” coś, co dawno już funkcjonuje na rynku, dopracowując szczegóły istotne z punktu widzenia dzisiejszych użytkowników.
Zdaniem Andrew Mendelsohna, SQL jest jedynym językiem programowania, które umożliwia analitykom biznesowym szybkie zadawanie pytań i błyskawiczne otrzymywanie odpowiedzi, bez konieczności „bawienia się” w programistów. Twierdzi on, że na wielkim rynku zawsze będą dominować relacyjne bazy danych.
Jeśli zaś chodzi o nowe rodzaje danych, produkty bazujące na relacyjnych systemach zarządzania bazami danych zaczęły obsługiwać nieuporządkowane zbiory danych już w latach 90. XX wieku. W 2013 roku Oracle dodał do swojej bazy danych funkcję obsługi JSON (JavaScript Object Notation) w wersji 12c.
Transformację branży napędza zatem nie tyle konieczność tworzenia nowego rodzaju baz danych, co transformacja stosowanych modeli działalności biznesowej.
Wszyscy zdają się zmierzać ku chmurze, gdzie duzi gracze są już od dawna. Pytanie więc, czy znajdzie się tam miejsce również dla mniejszych podmiotów.
Zdaniem Andrew Mendelsohna, małym firmom będzie raczej trudno rywalizować z Amazonem lub innym dostawcą, korzystając jednocześnie z jego chmury.
Podkreśla dobitnie, że dzięki szerokiemu portfolio usług chmurowych Oracle nie obawia się o swoją pozycję na rynku.
Podobne zdanie wyraża Rick Greenwald, dyrektor ds. badań w Instytucie Gartnera.
- Nowe alternatywne rozwiązania nie są równie funkcjonalne i solidne, co tradycyjne systemy RDBMS. Niektóre przypadki zastosowania da się odnieść do nowych graczy na rynku, ale nie wszystkie i nie za pomocą jednej technologii – uważa Rick Greenwald.
Patrząc w przyszłość, Rick Greenwald prognozuje, że dostawcy tradycyjnych systemów RDBMS będą odczuwać coraz większą presję cenową i konieczność wzbogacenia swoich produktów o nowe funkcje. Niektórzy prawdopodobnie włączą nowych graczy rynkowych w swój ogólny ekosystem zarządzania danymi.
Jeśli zaś chodzi o nowych graczy na rynku, kilka podmiotów z pewnością przetrwa, ale wielu zostanie wykupionych lub skończy im się finansowanie.
Współczesne nowe technologie nie są zwiastunem końca tradycyjnych systemów RDBMS, które przecież błyskawicznie ewoluują. Systemy RDBMS są niezbędne do obsługi dobrze zdefiniowanych danych.
Jednakże, nowi gracze będą też mieli swoją role do spełnienia, szczególnie że na rynku zaczynają dominować takie technologie, jak internet rzeczy czy hybrydowe moduły pamięci NVDIMM.
Zdaniem Carla Olofsona, czeka nas wiele problemów wymagających wielu różnorakich rozwiązań. Na szczęście zakres nowych, interesujących zagadnień, z którymi będzie trzeba się zmierzyć, jest nieprzebrany.
Ukryj panel
