1. Гость - предлагаем Вам : Мощные Выделенные Серверы 16-24 ядра / Lan 1Gbps - для XRumer, ZennoPoster, GSA, и другого сео-софта от 80 usd/месяц, для уточнения деталей воспользуйтесь формой обратной связи, или напишите Администратору форума в ЛС. ICQ:698-329-725

Что писать в файл robots.txt

Тема в разделе "Администрирование сервера", создана пользователем VLAD74, 31 окт 2017.

  1. VLAD74

    VLAD74 Известный пользователь
    VIP EXCLUSIVE

    Регистрация:
    8 янв 2016
    Сообщения:
    2.441
    Симпатии:
    328
    В файл robots.txt обычно пишут нечто вроде:

    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /tmp/
    Disallow: /~joe/

    В этом примере запрещена индексация трех директорий.

    Затметьте, что каждая директория указана на отдельной строке – нельзя написать «Disallow: /cgi-bin/ /tmp/». Нельзя также разбивать одну инструкцию Disallow или User-agent на несколько строк, т.к. перенос строки используется для отделения инструкций друг от друга.

    Регулярные выражения и символы подстановки так же нельзя использовать. «Звездочка» (*) в инструкции User-agent означает «любой робот». Инструкции вида «Disallow: *.gif» или «User-agent: Ya*» не поддерживаются.

    Конкретные инструкции в robots.txt зависят от вашего сайта и того, что вы захотите закрыть от индексации. Вот несколько примеров:

    ЗАПРЕТИТЬ ВЕСЬ САЙТ ДЛЯ ИНДЕКСАЦИИ ВСЕМИ РОБОТАМИ
    User-agent: *
    Disallow: /

    РАЗРЕШИТЬ ВСЕМ РОБОТАМ ИНДЕКСИРОВАТЬ ВЕСЬ САЙТ
    User-agent: *
    Disallow:

    Или можете просто создать пустой файл «/robots.txt».

    ЗАКРЫТЬ ОТ ИНДЕКСАЦИИ ТОЛЬКО НЕСКОЛЬКО КАТАЛОГОВ
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /tmp/
    Disallow: /private/

    ЗАПРЕТИТЬ ИНДЕКСАЦИЮ САЙТА ТОЛЬКО ДЛЯ ОДНОГО РОБОТА
    User-agent: BadBot
    Disallow: /

    РАЗРЕШИТЬ ИНДЕКСАЦИЮ САЙТА ОДНОМУ РОБОТУ И ЗАПРЕТИТЬ ВСЕМ ОСТАЛЬНЫМ
    User-agent: Yandex
    Disallow:

    User-agent: *
    Disallow: /

    ЗАПРЕТИТЬ К ИНДЕКСАЦИИ ВСЕ ФАЙЛЫ КРОМЕ ОДНОГО
    Это довольно непросто, т.к. не существует инструкции “Allow”. Вместо этого можно переместить все файлы кроме того, который вы хотите разрешить к индексации в поддиректорию и запретить ее индексацию:

    User-agent: *
    Disallow: /docs/

    Либо вы можете запретить все запрещенные к индексации файлы:

    User-agent: *
    Disallow: /private.html
    Disallow: /foo.html
    Disallow: /bar.html
     

Поделиться этой страницей