Big Data jako bezprecedensowe wyzwanie dla sektora gospodarczego, informatyki i świata nauki. Dziś ludzkość produkuje rocznie zettabajty (ZB) informacji cyfrowych. To prawie tyle bajtów, ile jest gwiazd we wszechświecie. Jeszcze w 2010 roku Eric Schmidt, szef Google, szacował, że „co dwa dni produkujemy tyle informacji, ile wygenerowaliśmy od zarania cywilizacji do 2003 roku”. Liczby i szokujące sformułowania na temat, który porusza dziś świat nauki i gospodarki to niezwykle duże ilości danych. „Mamy do czynienia z prawdziwym zalewem informacji” – mówi Christine Collet, badaczka z Grenoble Computer Science Laboratory i profesor w Instytucie Politechnicznym w Grenoble.
Liczby mówią same za siebie. W każdej sekundzie na YouTube umieszczana jest ponad godzina filmu i jest wysyłanych ponad 1,5 miliona e-maili. Naukowcy nie dają się prześcignąć. W ciągu ośmiu lat (2000-2008) Sloan Digital Sky Survey, wielki program obserwacji astronomicznych, zarejestrował 140 terabajtów (TB) obrazów. Jednak jego następcy, LSST (Large Synoptic Survey Telescope), w którym uczestniczą zespoły z Narodowego Instytutu Fizyki Jądrowej i Fizyki Cząstek CNRS (IN2P3), zajmie to tylko pięć dni. W poszukiwaniu bozonu Higgsa (higson) Wielki Zderzacz Hadronów (ang. Large Hadron Collider, LHC) gromadził co roku prawie 15 petabajtów (PB) danych, co odpowiada ponad 3 milionom płyt DVD.
Wraz z rozwojem gospodarki cyfrowej, powszechnym korzystaniem z urządzeń mobilnych, rozkwitem sieci społecznościowych, otwarciem niektórych baz danych dla społeczeństwa (Open Data) oraz rozwojem dużych międzynarodowych programów naukowych, rośnie zjawisko Big Data. „Jesteśmy obecnie świadkami prawdziwej demokratyzacji danych” – wyjaśnia Christine Collet. Demokratyzacja danych jest wszędzie i jest rozwijana, dane są sprzedawane i konsumowane jak każdy inny wyprodukowany produkt.
Te wielkie masy danych stały się tak poważnym wyzwaniem gospodarczym, przemysłowym i naukowym, że rządy i firmy intensywnie inwestują w tę dziedzinę. W Stanach Zjednoczonych w ramach planu Big Data przeznaczono 200 mln dolarów na badania w tej dziedzinie (Big Data Research and Development Initiative). Ze swojej strony Europa włączyła zarządzanie zasobami cyfrowymi do swoich priorytetów na zakończenie 7. programu ramowego w zakresie badań i rozwoju technologicznego. Na przykład we Francji stworzono program Investissements d’avenir, który zajmuje się tym tematem. Program ten o wartości 25 mln euro poświęcony jest technologiom umożliwiającym wykorzystanie bardzo dużych ilości danych.
„Big Data to ogromne wyzwanie naukowe, które wymaga pracy zarówno w dziedzinie inżynierii, jak i nauk podstawowych” – wyjaśnia Mark Asch, kierownik wydziału matematyki i obliczeń numerycznych w Dyrekcji Generalnej ds. Badań i Innowacji Ministerstwa Szkolnictwa Wyższego i Badań Naukowych. W odpowiedzi na tę obserwację Misja CNRS na rzecz Interdyscyplinarności stworzyła ideę, której celem jest wspieranie interdyscyplinarnych projektów w celu identyfikacji wąskich gardeł w zarządzaniu dużymi masami danych naukowych.
Jak przechowywać dane i zapewnić im trwałość? Jak je przetworzyć, przeanalizować i nadać im znaczenie? Jak je chronić, zapobiegać ich niewłaściwemu wykorzystaniu, a także, jak usunąć? To wszystko są pytania, które pojawiają się dzisiaj i dotyczą zarówno aspektów algorytmicznych, jak i metodologicznych, nie zapominając o infrastrukturze. Analiza udostępniona przez Farouka Toumani, badacza z Laboratorium Informatyki, Modelowania i Optymalizacji Systemów i lidera projektu Petasky w ramach Mastodons, który sugeruje, że teleskop synoptyczny o dużej aperturze (LSST) zaprojektowany do cotygodniowego przeglądu będzie w stanie rejestrować obrazy nieba o rozdzielczości 3 miliardów pikseli co 17 sekund. Do końca programu astronomowie będą dysponować bazą danych o wielkości 140 petabajtów, zawierającą setki cech dla każdego obiektu na niebie.
Taka baza danych jest jednak idealnym polem do popisu dla tych, którzy chcą rozwijać badania podstawowe w dziedzinie Big Data. Tak właśnie jest w przypadku badaczy projektu Petasky. „Aby obejść przeszkody napotykane w zarządzaniu dużymi masami danych, z pewnością będziemy musieli udoskonalić technologie przechowywania i obliczania, ale będziemy też musieli wymyślić nowe sposoby manipulowania danymi” – mówi Farouk Toumani.
Takiego zdania jest również Sihem Amer-Yahia, specjalista od sieci społecznych w Laboratorium Informatyki w Grenoble. Potwierdza: „Rewolucja związana z wielkimi masami danych napędzana w szczególności przez eksplozję sieci społecznych, w których obywatele sami wytwarzają informacje, zakłóca klasyczną architekturę baz danych i ich przetwarzanie”. Wszyscy są poruszeni. Od biologów po astrofizyków, od Facebooka po podatników – nikt nie ucieknie przed zjawiskiem Big Data i problemami, które ono stwarza. A sprawa jest nagląca, ponieważ ilość informacji wytwarzanych w świecie cyfrowym podwaja się co dwa lata, a tempo to jest coraz szybsze. „Dane są sercem gospodarki cyfrowej i społeczeństwa opartego na wiedzy” – podsumowuje Christine Collet. Dane stanowią surowiec o wysokiej wartości dodanej, bez którego nic nie może się wydarzyć
