Эта статья будет важна для владельца сайта если он хочет получать бесплатный (органический) поисковый трафик из Яндекс и Google по ключевым запросам вводимым пользователями в поисковую строку.
Одним из ключевых моментов в проведении работ по SEO оптимизации сайта это однозначно – корректное составление команд для поисковых роботов в файле robot.txt.
Именно в этом файле seo специалист описывает сценарий обхода страниц сайта роботами всех поисковых систем. Здесь можно запретить посещение технических страниц или их добавление в поисковую базу, указать какие канонические страницы роботы могут индексировать а какие отнести к не каноническим, запретить или разрешить индексирование картинок сайта и других технических файлов, например – страниц профилей пользователя или его заказов в интернет-магазине.
Как правильно составить этот файл?
Хочется сразу оговориться, что не только для каждой cms, но и для каждого отдельно взятого сайта файл robots.txt может быть индивидуальным (во всяком случае, стоит проверить его содержимое согласно этой инструкции).
Для примера давайте рассмотрим как мы составили файл для этого сайта реализованного на движке Drupal 9.
Каждая cms по умолчанию уже формирует файл robots.txt и помещает его в корневую директорию сайта. Именно эту директорию, первоначально посещают поисковые роботы и считывают инструкцию которую для них оставил seo мастер.
В файле robots.txt должны быть 4 основные инструкции:
- Каким типам роботов разрешено посещать сайт.
- Какой тип контента доступен для какого типа роботов.
- Что делать с определёнными типами url адресов.
- Указание на адрес где находится карта сайта sitemap.
Нуа дальше всё довольно просто. Вы можете самостоятельно составить этот файл используя основные команды:
- User-agent: указатель на тип робота
- Allow: разрешающая команда
- Disallow: запрещающая команда
- Clean-param: Команда очистки UTM меток
- Sitemap: указатель на url файла sitemap – http://основной_адрес_сайта/sitemap.xml
Вот правильный пример файла robots.txt для этого сайта:
User-agent: *
# CSS, JS, Images
Allow: /core/*.css$
Allow: /core/*.css?
Allow: /core/*.js$
Allow: /core/*.js?
Allow: /core/*.gif
Allow: /core/*.jpg
Allow: /core/*.jpeg
Allow: /core/*.png
Allow: /core/*.svg
Allow: /profiles/*.css$
Allow: /profiles/*.css?
Allow: /profiles/*.js$
Allow: /profiles/*.js?
Allow: /profiles/*.gif
Allow: /profiles/*.jpg
Allow: /profiles/*.jpeg
Allow: /profiles/*.png
Allow: /profiles/*.svg
# Directories
Disallow: /core/
Disallow: /profiles/
# Files
Disallow: /README.txt
Disallow: /web.config
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register
Disallow: /user/password
Disallow: /user/login
Disallow: /user/logout
Disallow: /media/oembed
Disallow: /*/media/oembed
# Paths (no clean URLs)
Disallow: /index.php/admin/
Disallow: /index.php/comment/reply/
Disallow: /index.php/filter/tips
Disallow: /index.php/node/add/
Disallow: /index.php/search/
Disallow: /index.php/user/password
Disallow: /index.php/user/register
Disallow: /index.php/user/login
Disallow: /index.php/user/logout
Disallow: /index.php/media/oembed
Disallow: /index.php/*/media/oembed
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&calltouch_tm&roistat&roistat_referrer&roistat_pos&admitad_uid
https://ut24agency.com/sitemap.xml
Если у вас самостоятельно не получилось корректно настроить файл инструкций для поисковых роботов, обязательно свяжитесь с нами для получения подробных консультаций или закажите настройку файла у нас.
