Датотека роботс.ткт која је сачувана у корену ваше веб странице ће рећи веб роботима попут паука претраживача који директоријуми и датотеке имају за пузање. Лако је користити датотеку роботс.ткт, али постоје неке ствари које треба запамтити:
- Роботске веб странице црне мреже ће игнорисати датотеку роботс.ткт. Најчешћи типови су ботови малвера и роботи који траже адресе е-поште за жетву.
- Неки нови програмери ће писати роботе који игноришу датотеку роботс.ткт. Ово се обично врши грешком.
- Свако може видети вашу роботс.ткт датотеку. Увек се зову роботс.ткт и увек се чувају у корену веб странице.
- Најзад, ако неко повезује датотеку или директоријум који је роботс.ткт искључен са странице која није искључена од стране њихове датотеке роботс.ткт, претраживачи ће га можда ипак наћи.
Немојте користити датотеке роботс.ткт да сакријете било шта важно. Уместо тога, требало би да ставите важне информације иза сигурносних лозинки или их у потпуности оставите са веба.
Како користити ове узорке датотека
Копирајте текст из узорка који је најближи ономе што желите да урадите и залепите је у датотеку роботс.ткт. Промените имена робота, директоријума и датотека како бисте подесили жељену конфигурацију.
Два Басиц Роботс.ткт фајлова
Кориснички агент: *
Дисаллов: /
Ова датотека каже да сваки робот (Усер-агент: *) који приступа треба игнорисати сваку страницу на страници (Дисаллов: /).
Кориснички агент: *
Дисаллов:
Ова датотека каже да сваки робот (Усер-агент: *) који приступа има дозволу да види сваку страницу на страници (Дисаллов:).
Такође можете да урадите тако што оставите датотеку роботс.ткт празном или да немате на свом месту.
Заштитите специфичне директоријуме од робота
Кориснички агент: *
Дисаллов: / цги-бин /
Дисаллов: / темп /
Ова датотека каже да сваки робот (Усер-агент: *) који приступа треба да игнорише директоријуме / цги-бин / и / темп / (Дисаллов: / цги-бин / Дисаллов: / темп /).
Заштитите одређене странице од робота
Кориснички агент: *
Дисаллов: /јеннс-стуфф.хтм
Дисаллов: /привате.пхп
Ова датотека каже да сваки робот (Усер-агент: *) који приступа треба да игнорише датотеке /јеннс-стуфф.хтм и /привате.пхп (Дисаллов: /јеннс-стуфф.хтм Дисаллов: /привате.пхп).
Спречите одређеном роботу да приступи вашем сајту
Кориснички агент: Лицос / кк
Дисаллов: /
Ова датотека каже да Лицос бот (Усер-агент: Лицос / кк) није дозвољен приступ било ком месту на страници (Дисаллов: /).
Дозволите само један специфичан приступ роботу
Кориснички агент: *
Дисаллов: /
Кориснички агент: Гооглебот
Дисаллов:
Ова датотека прво онемогућава све роботе као што смо већ урадили, а затим експлицитно омогућује Гооглебот (Усер-агент: Гооглебот) да има приступ свему (Дисаллов:).
Комбинујте више линија да бисте прецизно искористили изузетке које желите
Иако је боље користити веома инцлусиве линију корисника, као што је Усер-агент: *, можете бити толико специфични колико желите. Запамтите да роботи чине датотеку редом. Дакле, ако у првим редовима кажу да су сви роботи блокирани од свега, а касније у фајлу пише да су свим роботима дозвољени приступ свему, роботи ће имати приступ свему.
Ако нисте сигурни да ли сте исправно написали датотеку роботс.ткт, можете користити Гоогле Алатке за вебмастере да бисте проверили датотеку роботс.ткт или написали нову.