Big Data, de nieuwe trend (2012)

Helemaal nieuw is de term niet, maar sinds het begin van dit jaar komen we Big Data wel steeds vaker tegen. Big Data is een containerbegrip, door alle fabrikanten anders uitgelegd. Het is teven een pakkende marketingterm. We spreken van Big Data als het niet meer mogelijk is uw gegevensverzamelingen met gangbare hardware of software op te slaan, te raadplegen en te gebruiken, te verwerken, te analyseren en (grafisch) weer te geven.

De eerste zoekmachines (Google, Yahoo, AltaVista) waren de eersten die met Big Data te maken kregen. We webcrawlers verzamelden immers voorturend extreem veel data in de vorm van zoekresultaten.  Facebook heeft onlangs laten weten meer dan 100 petabytes aan gebruikersdata op de hebben geslagen, waarvan één petabyte foto’s is (10 miljard foto’s). Elk half uur wordt er door Facebook 105 terabyte aan data gescand. En de Big Data-uitdaging wordt groter en de explosie van data omvangrijker. Triljoenen bytes aan gegevens over klanten, toeleveranciers, producten, transacties en click-streams, profielen, berichten, locatiegegevens, likes, user-generated content, streaming HD video, audio en foto’s. Triljoenen bytes afkomstig van sensoren, RFID-chips, NFC-communicatie in smartphones, auto’s, winkels. Deze data moet worden verstuurd, ontvangen, geanalyseerd, gerelateerd en bewaard. En het liefst real-time moeten er resultaten uit tevoorschijn getoverd worden.  Door slimme en snelle data-analyse is het mogelijk de uitslag van bijvoorbeeld verkiezingen beter te voorspellen aan de hand van social media dan aan de hand van statistische onderzoeken. Het proces van het ontginnen van data tot informatie wordt ook wel Datamining genoemd.

De verschillende aspecten van Big Data worden vaak samengevat onder de drie V’s: volume, velocity en variety. Bij volume gaat het om miljoenen of zelfs miljarden compacte of omvangrijke gegevens. Hoe meer data, des te beter of nauwkeuring het wordt om voorspellingen te doen en trends te bepalen. Bij velocity gaat het om de snelheid waarmee data wordt  gegenereerd en geanaliseerd. Bij Variety binnen Big Data gaat het niet om items van een enkel datatype, zoals creditcard gegevens of -emailadressen. Het gaat om een grote diversiteit van redelijk lostaande data van allerlei datatypen die gecombineerd moeten worden. Om te voldoen aan de eisen die de drie V’s voor Big Data stellen, is een zware ICT-infrastructuur nodig. Hierbij spelen opslagsystemen (Big Data Storage), processorcapaceit (Big Data server) en netwerkcapaciteit (Big Data Networks) een rol. En dat is nu precies een enorme groeimarkt. Storage fabrikanten, database fabrikanten, serverfabrikanten (ook van supercomputers) en netwerkfabrikanten en bouwers van netwerkversnellers springen in de markt. Een populaire Open Source oplossing die data geditribueerd opslaat en verwerkt is Hadoop. Hadoop wordt bijvoorbeeld door Google en Facebook gebruikt.

Big Data is hot, en dat is alleen al te zien aan de conferenties die dit najaar worden gehouden over dit onderwerp. Net gemist hebt u de Big Data conference voor de overheid (http://www.bigdataconference.net/) op 18 september. De Strata conferentie over Big Data is in Londen, Ney York, San Franciso (alle in october) en Santa Clara (februari 2013) (http://strataconf.com/). 7 november kunt u naar Londen, naar het Big Data World Congress (http://www.bigdatacongress.com/). Dezelfde dag en dichter bij huis kunt u deelnemen in Ede aan het Big Data congres gericht op de zorg: “Big Data! - De weg naar kostenreductie en verhoging van zorgkwaliteit” (http://www.reedbusinessevents.nl/Event-detail-pagina/1014/319146/Big-Data!-De-weg-naar-kostenreductie-en-verhoging-van-zorgkwaliteit.html). Op 11 december kunt u naar het Big Data congres dat meer gericht is op de infrastructuur van servers, netwerk en opslag in Amsterdam (http://www.ddhs.nl). Misschien wordt het tijd dat we ons als IT’ers eens in het thema gaan verdiepen, want organisaties die goed met Big Data omgaan, hebben een concurrentievoordeel. Data wordt ook wel de oliebron van de toekomst genoemd.