Google spracuje denne viac ako 20 petabytov dát

Včera som sa dočítal veľmi zaujimavú informáciu. Ako hovorí už titulka, spoločnosť Google denne spracuje viac ako 20 petabytov dát, čo zodpovedá 20,000 terabytov alebo 20,000,000 gigabytov. Ak by ste mali priemerný disk o veľkosti 500GB, museli by ste zakúpiť 40,000 harddiskov v približnej (maloobchodnej) cene 136,000,000 SKK.

Google pre spracovanie veľkého množstva dát používa MapReduce, čo podľa je definície na wikipedii (alebo priamo Google)

MapReduce je softwarový framework implementovaný spoločnosťou Google pre podporu paralelného výpočtu veľkých skupín dát (viac ako 100 terabytov) na nestabilných clusteroch.

Denne pre spracovanie 20PB dát je použitých viac ako 100,000 MapReduce procesov, ktoré prebiehajú na masívnych clusteroch. Priemerný MapReduce proces prebieha približne na 400 serveroch (september 2007) a za jeden mesiac takto MapReduce procesy nazbierajú približne 11 000 rokov strojového času. Tieto hrôzostrašné čísla dokazujú dominantnosť Googlu na trhu, pričom sa ho jeho konkurenti Microsoft (Dryad) a Yahoo (Hadoop) neustále snažia dobehnúť.

Tabuľku MapReduce procesov za jednotlivé obdobie si môžete pozrieť nižšie.

Google je povestný tým, že používajú bežne dostupne počítače kvôli ich nízkej cene a dostatočnej kvalite. Dnes Google spracuváva dáta na štandardných mašinách obsahujúcich dva procesory 2GHz Intel Xeon so zapnutým Hyper-Threading, 4GB Ram, dva 160GB IDE harddisky a gigabitová ethernet linka.

Čísla sú určite veľmi zaujimavé a fantastické, sám som z nich bol veľmi prekvapený. Viac sa môžete dočítať v originálnom článku Nialla Kennedyho.

Už po publikácii článku a po malej konverzácií s jedným kamarátom som dostal novú myšlienku. Pri tak obrovskej výpočtovej sile by dekryptácia hesiel akejkoľvek veľkej šifry trvala krátku dobu, dosť krátku na to aby mohol Google získať akékoľvek dáta. Preto ma napadlo: Používa Google svoju výpočtovú kapacitu na podobné účely? Ak je odpoveď kladná, Google získa akékoľvek dáta ku ktorým sa dostanú nech už sú zabezpečené akokoľvek. Strašidelná predstava, alebo realita dnešných dní?

10 Responses to “Google spracuje denne viac ako 20 petabytov dát”

1 Marek Jan 10th, 2008 at 20:21

Rasto, ty sa musis strasne nudit, alebo ta za tento blog niekto plati? :)
2 oooo Jan 10th, 2008 at 20:26

Popravde mi pravdepodobne zaplati styko google, ale ak by si sa chcel pridat do sponzoringu, nebudem dvakrat proti :)
3 oooo Jan 10th, 2008 at 20:54

pridavam utopisticku glosu od jedneho kamarata. alebo nie je az tak utopisticka? no ved posudte sami:
o mesiac
internetovy terrorizmus
google utoci na microsoft
servery wikie ddosovane googlom
google zaklada vlastny stat
internet sa stava privilegiom
chudobnejsie staty nemaju na net
google ovladol planetu
google sa premenovava na umbrella corp
krasna vizia buducnosti
4 kylee Jan 10th, 2008 at 21:17

tak to je pálka :D
5 siho Jan 10th, 2008 at 21:38

oooo.. prečo sa má Internet stať privilégiom a byť nedostupným? Veď tým príde google o svoju moc. Jeho moc je v sieti, takže podľa mňa ak, tak situácia bude presne opačná.. každý bude mať Internet.. a Internet bude na každom kroku a nebude pred ním úniku. ;)
6 oooo Jan 10th, 2008 at 21:44

siho: v prvom rade to pisal niekto uplne iny, v rade druhom to bolo myslene tak ze budu vytriedeni uzivatelia ktori nebudu dodrziavat rad svateho googlu :)
7 Miso Jan 10th, 2008 at 21:45

Maly prkelep v clanku “…pričom sa ho jeho konkurenti Microsoft (Dyrad) a Yahoo (Hadoop) neustále snažia dobehnúť.”. Malo by tam byt Dryad ;-)
8 oooo Jan 10th, 2008 at 22:24

miso dik za postreh, upravene, vobec som si toho nevsimol, ale to je uz odo mna bezne

1 Al-Kájda má nový software pre šifrovanú komunikáciu Pingback on Feb 5th, 2008 at 20:40
2 Vyhľadávače v roku 1996 Pingback on Feb 18th, 2008 at 00:27