Včera som sa dočítal veľmi zaujimavú informáciu. Ako hovorí už titulka, spoločnosť Google denne spracuje viac ako 20 petabytov dát, čo zodpovedá 20,000 terabytov alebo 20,000,000 gigabytov. Ak by ste mali priemerný disk o veľkosti 500GB, museli by ste zakúpiť 40,000 harddiskov v približnej (maloobchodnej) cene 136,000,000 SKK.
Google pre spracovanie veľkého množstva dát používa MapReduce, čo podľa je definície na wikipedii (alebo priamo Google)
MapReduce je softwarový framework implementovaný spoločnosťou Google pre podporu paralelného výpočtu veľkých skupín dát (viac ako 100 terabytov) na nestabilných clusteroch.
Denne pre spracovanie 20PB dát je použitých viac ako 100,000 MapReduce procesov, ktoré prebiehajú na masívnych clusteroch. Priemerný MapReduce proces prebieha približne na 400 serveroch (september 2007) a za jeden mesiac takto MapReduce procesy nazbierajú približne 11 000 rokov strojového času. Tieto hrôzostrašné čísla dokazujú dominantnosť Googlu na trhu, pričom sa ho jeho konkurenti Microsoft (Dryad) a Yahoo (Hadoop) neustále snažia dobehnúť.
Tabuľku MapReduce procesov za jednotlivé obdobie si môžete pozrieť nižšie.
Google je povestný tým, že používajú bežne dostupne počítače kvôli ich nízkej cene a dostatočnej kvalite. Dnes Google spracuváva dáta na štandardných mašinách obsahujúcich dva procesory 2GHz Intel Xeon so zapnutým Hyper-Threading, 4GB Ram, dva 160GB IDE harddisky a gigabitová ethernet linka.
Čísla sú určite veľmi zaujimavé a fantastické, sám som z nich bol veľmi prekvapený. Viac sa môžete dočítať v originálnom článku Nialla Kennedyho.
Už po publikácii článku a po malej konverzácií s jedným kamarátom som dostal novú myšlienku. Pri tak obrovskej výpočtovej sile by dekryptácia hesiel akejkoľvek veľkej šifry trvala krátku dobu, dosť krátku na to aby mohol Google získať akékoľvek dáta. Preto ma napadlo: Používa Google svoju výpočtovú kapacitu na podobné účely? Ak je odpoveď kladná, Google získa akékoľvek dáta ku ktorým sa dostanú nech už sú zabezpečené akokoľvek. Strašidelná predstava, alebo realita dnešných dní?
Rasto, ty sa musis strasne nudit, alebo ta za tento blog niekto plati? :)
Popravde mi pravdepodobne zaplati styko google, ale ak by si sa chcel pridat do sponzoringu, nebudem dvakrat proti :)
pridavam utopisticku glosu od jedneho kamarata. alebo nie je az tak utopisticka? no ved posudte sami:
o mesiac
internetovy terrorizmus
google utoci na microsoft
servery wikie ddosovane googlom
google zaklada vlastny stat
internet sa stava privilegiom
chudobnejsie staty nemaju na net
google ovladol planetu
google sa premenovava na umbrella corp
krasna vizia buducnosti
tak to je pálka :D
oooo.. prečo sa má Internet stať privilégiom a byť nedostupným? Veď tým príde google o svoju moc. Jeho moc je v sieti, takže podľa mňa ak, tak situácia bude presne opačná.. každý bude mať Internet.. a Internet bude na každom kroku a nebude pred ním úniku. ;)
siho: v prvom rade to pisal niekto uplne iny, v rade druhom to bolo myslene tak ze budu vytriedeni uzivatelia ktori nebudu dodrziavat rad svateho googlu :)
Maly prkelep v clanku “…pričom sa ho jeho konkurenti Microsoft (Dyrad) a Yahoo (Hadoop) neustále snažia dobehnúť.”. Malo by tam byt Dryad ;-)
miso dik za postreh, upravene, vobec som si toho nevsimol, ale to je uz odo mna bezne