V októbri 1996, nemecký magazín Spiegel, spomenul po prvý krát novú “vymoženosť” na internete, vyhľadávače. Dnes je tomu viac ako 12 rokov, a bez vyhľadávačov si internet nedokážeme ani len predstaviť. Napríklad len taký Google denne spracuje 20 petabytov dát.

Tvorcovia vyhľadávačov sa dnes sústreďujú na kvalitu výsledkov a nie na kvantitu, a väčšina z nás nebola na stránke AltaVista.com minimálne 3 roky.

V roku 1996 spoločnosť Yahoo! zamestnávala 50 web surferov na plný úväzok. Náplňou ich práce bolo surfovať po internete a hľadať nové stránky, ktoré následne vkladali do katalógu Yahoo!. Katalóg Yahoo! obsahoval viac než 300,000 adries rozdelených v 20,000 pod/kategóriách.

Niekdajších 10 veľkých spoločností, a taktiež niektoré menšie organizácie, prehľadávali internet pomocou tzv. spiderov.

Spider je program, ktorý prehľadáva webovú stránku a navštívi každú stránku na ktorú daná stránka obsahuje odkaz. Takto sa snaží zmapovať celý internet.

Spidery dnes fungujú na rovnakom princípe ako v roku 1996, ale vyhľadávanie sa dramaticky zmenilo. V minulosti dominovali vyhľadávače Lycos a AltaVista. Pri vyhľadávaní špecifických fráz fungovalo vyhľadávanie skoro ako dnes. Problém však nastal vtedy, ak ste zadali do vyhľadávania len jedno slovo. Spoločnosti prevádzkujúce vyhľadávače sa sústreďovali na kvantitu a nie na kvalitu. V tej dobe sa tvorcom spiderov o kvalitnom indexovaní stránok založenom na zložitých algoritmoch, akým je napríklad Google Pagerank ani nesnívalo.