Мощный и надежный хостинг
Получить консультацию Служба поддержки 24/7 Uptime-статус
8-800-350-77-51
Jeto14 лет на рынке
it-услуг
Войти

Robots.txt для 1С-Bitrix

robots.txt настройки сайта файлы
01.01.2010

В этом материале рассмотрен пример файла robots.txt для сайта под управлением 1С Битрикс. Его содержание для других CMS или фреймворков может быть другим. 

Инструкции в текстовом файле robots.txt указывают поисковым работам, каким образом необходимо индексировать сайт. Он представляет собой набор инструкций, которые указывают, какие страницы нужно, а какие не следует индекситровать. В нем также могут содержаться дополнительные инструкции, которые обрабатывает конкретная поисковая система. Файл размещается в корневом каталоге сервера. 

Обратите внимание, что представленные ниже инструкции приведены в виде примера. Для функционирования конкретного проекта могут понадобится специфические инструкции и типы файлов, которые должны открываться или закрываться на сайте. В большинстве случаев необходима точная настройка параметров индексирования. Лучше всего пригласить для корректной настройки настройки robots.txt программиста или специалиста по поисковой оптимизации. 

Важно!

В приведенных далее примерах site.ru необходимо заменить на URL-адрес вашего проекта.

Как изменить файл robots.txt с помощью административной панели ISPmanager?

  1. Авторизуйтесь в административной панели хостинга с помощью логина и пароля, после чего перейдите в главную папку сервера. 
  2. Выберите кнопку Загрузить и укажите нахождение отредактированного файла robots.txt на вашем компьютере. 
  3. Дождитесь окончания загрузки. 
  4. Для нормального функционирования сайта необходимо установить для файла права доступа 444.

Для проверки правильности выполнения инструкции необходимо открыть в браузере адрес http://site.ru/robots.txt, но вместо site.ru указать доменное имя вашего проекта. Содержимое индексного файла отобразится на экране. .

После завершения можно проверить правильность содержания по инструкции для конкретной поиской системы:

  • Яндекс. Используется Яндекс.Вебмастер без регистрации и авторизации.
  • Google. Необходим  веб-мастер Google, который доступен после регистрации. 

Содержание файла robots.txt для 1С Bitrix

 

User-agent: *

Allow: /map/

Allow: /search/map.php

Allow: /bitrix/templates/

Disallow: */index.php

Disallow: /*action=

Disallow: /*print=

Disallow: /*/gallery/*order=

Disallow: /*/search/

Disallow: /*/slide_show/

Disallow: /*?utm_source=

Disallow: /*ADD_TO_COMPARE_LIST

Disallow: /*arrFilter=

Disallow: /*auth=

Disallow: /*back_url_admin=

Disallow: /*BACK_URL=

Disallow: /*back_url=

Disallow: /*backurl=

Disallow: /*bitrix_*=

Disallow: /*bitrix_include_areas=

Disallow: /*building_directory=

Disallow: /*bxajaxid=

Disallow: /*change_password=

Disallow: /*clear_cache_session=

Disallow: /*clear_cache=

Disallow: /*count=

Disallow: /*COURSE_ID=

Disallow: /*forgot_password=

Disallow: /*ID=

Disallow: /*index.php$

Disallow: /*login=

Disallow: /*logout=

Disallow: /*modern-repair/$

Disallow: /*MUL_MODE=

Disallow: /*ORDER_BY

Disallow: /*PAGE_NAME=

Disallow: /*PAGE_NAME=detail_slide_show

Disallow: /*PAGE_NAME=search

Disallow: /*PAGE_NAME=user_post

Disallow: /*PAGEN_

Disallow: /*print_course=

Disallow: /*print=

Disallow: /*q=

Disallow: /*register=

Disallow: /*register=yes

Disallow: /*set_filter=

Disallow: /*show_all=

Disallow: /*show_include_exec_time=

Disallow: /*show_page_exec_time=

Disallow: /*show_sql_stat=

Disallow: /*SHOWALL_

Disallow: /*sort=

Disallow: /*sphrase_id=

Disallow: /*tags=

Disallow: /access.log

Disallow: /admin

Disallow: /api

Disallow: /auth

Disallow: /auth.php

Disallow: /auto

Disallow: /bitrix

Disallow: /bitrix/

Disallow: /cgi-bin

Disallow: /club/$

Disallow: /club/forum/search/

Disallow: /club/gallery/tags/

Disallow: /club/group/search/

Disallow: /club/log/

Disallow: /club/messages/

Disallow: /club/search/

Disallow: /communication/blog/search.php

Disallow: /communication/forum/search/

Disallow: /communication/forum/user/

Disallow: /content/board/my/

Disallow: /content/links/my/

Disallow: /error

Disallow: /e-store/affiliates/

Disallow: /e-store/paid/detail.php

Disallow: /examples/download/download_private/

Disallow: /examples/my-components/

Disallow: /include

Disallow: /personal

Disallow: /search

Disallow: /temp

Disallow: /tmp Disallow: /upload

Disallow: /*/*ELEMENT_CODE=

Disallow: /*/*SECTION_CODE=

Disallow: /*/*IBLOCK_CODE

Disallow: /*/*ELEMENT_ID=

Disallow: /*/*SECTION_ID=

Disallow: /*/*IBLOCK_ID=

Disallow: /*/*CODE=

Disallow: /*/*ID=

Disallow: /*/*IBLOCK_EXTERNAL_ID=

Disallow: /*/*SECTION_CODE_PATH=

Disallow: /*/*EXTERNAL_ID=

Disallow: /*/*IBLOCK_TYPE_ID=

Disallow: /*/*SITE_DIR=

Disallow: /*/*SERVER_NAME=

Sitemap: http://site.ru/sitemap_index.xml

Sitemap: http://site.ru/sitemap.xml Host: site.ru

Host: site.ru

Блок чата