Big data. Cum, cine și cu ce gestionează 2,7 zettabytes de date?

BOGDAN CIOC ESTE CONSULTING MANAGER, NEAR SHORE CENTER ROMANIA, SAP CONSULTING IN CADRUL SAP ROMANIA

IBM, ANGAJATORUL LUI CODD, construise – pe baza cercetărilor acestuia din anii ’70 – prima versiune a unui așa-numit System R, primul prototip al unui SGBD “relațional”. Din cauza luptelor politice interne, o fatalitate inerentă organizațiilor mari, se pare, și a temerilor legate de canibalizarea propriilor produse similare (nu relaționale, ci ierarhice) pe care deja le comercializa, IBM a ignorat potențialul noii tehnologii.
O companie tânără, mult mai agilă și mai înfometată de succes decât IBM, a intuit corect acest potențial. A preluat ideile lui Codd și bazele System R (fapt ce apare documentat, de pildă, în cartea “Diferența dintre Dumnezeu și Larry Ellison”, scrisă de Mike Wilson) și a făcut istorie. Această companie se numea Relational Software Inc., devenită mai apoi Oracle.

Modelul lui Codd era revoluționar pentru că definea o metodă de organizare și stocare a datelor perfect riguroasă (folosind noțiuni precum bază de date, tabelă, relație, cheie primară, cheie externă, restricții de integritate ș.a.m.d.) și introducea SQL, un limbaj standardizat și simplu de interogare a datelor astfel organizate, care oferea aplicațiilor care foloseau datele independența față de modul în care erau ele organizate. Limbajul SQL (Structured Query Language) a devenit, de la apariția sa, un element nelipsit din arsenalul oricărui dezvoltator de software.

Codd a enunțat, la începutul deceniului opt, cele treisprezece reguli familiare oricărui student în tehnologia informației pentru că modelul definit de el devenise atât de popular și de lucrativ încât, din dorința de a prinde o bucată din piață, toți producătorii de sisteme de organizare a datelor își etichetau produsele drept “relaționale”, când, în fapt, nu făceau decât să vândă vechi produse re-împachetate. Cu alte cuvinte, piața era în acel moment la începutul unui ciclu hype – de proaspăt avânt al bazelor de date relaționale.

Termenul de “ciclu hype” a fost folosit pentru prima dată de Gartner în 1995 pentru a descrie traseul pe care îl parcurg tehnologiile noi, de la momentul apariției până la maturizare și adoptarea lor pe scară largă. Ca metodologie de analiză și suport în decizie, “ciclurile hype” au și bune și rele. Metodologia nu este extrem de științifică și poate induce așteptări eronate la cei ce pot decide adoptarea unei anumite tehnologii la un moment dat. Însă oferă un comentariu viabil asupra evoluției istorice a tehnologiei respective.

SĂ REVENIM ÎNSĂ CU POVESTEA LA ZILELE NOASTRE. Au trecut mai bine de treizeci de ani de la revoluția lui Codd. Iar tehnologia inventată de el a trecut prin toate fazele ciclului Gartner. Bazele de date relaționale au fost și sunt folosite, de la apariția lor, ca suport pentru larga majoritate a aplicațiilor de business scrise de atunci. Iar beneficiarii pe termen lung ai rezultatelor acestui ciclu hype (să-l numim așa) sunt, astăzi, în principal Oracle, Microsoft (cu SQL Server) și IBM (prin DB2, urmașul tardiv al System R, odată ce luptele politice s-au încheiat). Tăria sonoră a acestor nume și succesul lor de 30 de ani și mai bine arată clar cât de important este să te plasezi printre vizionari, cât mai aproape de momentul inițial – și cât de esențial este să reziști acolo după pragul deziluziei. Însă modelul lui Codd a fost definit înaintea internetului, a dispozitivelor mobile și a rețelelor sociale. Și, din acest motiv, astăzi își arată limitele. În zilele noastre cantitatea de date ce se cere stocată și explorată este cu multe ordine de mărime mai mare decât la începutul anilor ’80. Mai important însă, datele de azi sunt deseori nestructurate, așa cum vom vedea în continuare.

Haideți mai întâi să ne delectăm cu câteva cifre, preluate din studiul “Big data: The next frontier for innovation, competition, and productivity” al McKinsey Global Institute din mai 2011 și din alte surse, grupate pe wikibon.org/blog/big-data-statistics/):
– Se estimează că există 2,7 zettabytes (1021) de date în universul informațional din jurul nostru (2012).
– Erau 5 miliarde de telefoane mobile în uz în lume în 2010. Revoluția smartphone-urilor amplifică exponențial atât cantitatea, cât și calitatea datelor (voce, SMS, trafic de internet) tranzitate și colectate de aceste dispozitive.
– Facebook publică în fiecare lună 30 de miliarde de elemente noi de conținut (aprecieri, comentarii, fotografii, linkuri) și analizează în bazele sale de date peste 30 de petabytes (1015) de date liber împărtășite de utilizatorii săi. Aproximativ 35.000 de like-uri pentru diverse brand-uri sau firme sunt postate de utilizatorii Facebook în fiecare zi.
– Google procesa în 2008 cu motorul său de căutare 20 de petabytes de date pe zi.
– Utilizatorii YouTube încarcă în fiecare minut 48 de ore de conținut video nou.
– La începutul lui 2012 Twitter procesa zilnic aproximativ 175 de milioane de twitt-uri, care au conținut potențial relevant din punct de vedere comercial / statistic.
– Wal-Mart gestionează peste un milion de tranzacții cu clienții săi zilnic și stochează datele rezultate în baze de date estimate la 2,5 petabytes (1015).
– 571 de website-uri noi sunt create în fiecare minut.

Aceste cifre sunt desigur foarte greu de probat, fiind extrem de dinamice. Sunt însă plauzibile, iar ritmul în care datele se multiplică, mai ales, după cum am spus deja, de la apariția dispozitivelor mobile inteligente, este exponențial. Internetul este plin de astfel de statistici ale unui fenomen global care este încă în faza de clarificare și care a ajuns să fie cunoscut sub denumirea generică (și intenționat ambiguă) de Big Data. Big Data este numele dat de specialiști provocării aduse de stocarea și analiza cantităților mari de date ale zilelor noastre, activități care nu mai sunt posibile cu instrumentele tradiționale folosite până acum.