robots.txt je textový súbor, ktorý sa primárne používa na “komunikáciu” s indexovacím robotom vyhľadávačov, ako napríklad Google. Pod komunikáciou sú však myslené zákazy, ktoré určujú robotom, ktoré časti webu majú nechať “na pokoji”.
…viac