05.12.2016

Правильный Robots для Joomla 3

Рейтинг:  0 / 5

Звезда не активнаЗвезда не активнаЗвезда не активнаЗвезда не активнаЗвезда не активна
 

Создание сайт на Joomla 3 требует особого отношения к настройке, от которой будет зависеть успешная индексация сайта и наличие дублей.

Сайтам работающим в рунете рекомендуется настраивать Robots учитывая капризы Яндекса. Для этого первая часть должна состоять из настроек для Яндекса и выглядит примерно так:

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*mailto/
Disallow: /*.pdf
Disallow: /*%
Disallow: /index.php
Host: innotechnews.com
Sitemap: http://innotechnews.com/sitemap

Отдельно следует остановиться на пунктах, которые не входят в стандартный Robots
Disallow: /*mailto/ - закроет от индексации возможный дубль страницы для печати
Disallow: /*.pdf - - закроет от индексации возможный дубль страницы в формате .pdf
Disallow: /*% - закроет от индексации возможный дубль страницы использующие символ %
Disallow: /index.php - закроет от индексации дубль главной страницы
Host: http://innotechnews.com - необходима для указания поисковому роботу Яндекса о главном зеркале сайта.
Sitemap: http://innotechnews.com/sitemap - указывает роботу на карту сайта
Более детально с правилами использования robots.txt для Яндекса описано в Инструкции

Далее нами было включено в игнорирование роботами всех компонентов
Disallow: /components/
Сделано это для того, чтобы не дублировались страницы и не индексировались незначительные Тэги. Самые часто упоминаемые Тэги были перенесены нами в Верхнее меню (APPLE, GOOGLE, BLACKBERRY, SEO, ИГРЫ, НАСТРОЙКА)

Нами также была исключена их стандартного Robots строка про запрет индексации Изображений
Disallow: /images/

Это позволит поисковым роботам включать изображения с сайта в поиск.

Вторая часть robots.txt касается всех остальных поисковых роботов и может выглядеть следующим образом.

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*mailto/
Disallow: /*.pdf
Disallow: /*%
Disallow: /index.php

  1. Последние
  2. Популярные
Загрузка...

Новости технологий сегодня

Наш сайт посвящен новостям в сфере высоких технологий, а также инноваций в мире интернета, автопромышленности.

Представлены материалы по развитию технологических компаний и стартапов. Интересным будет информация по настройке и хакингу гаджетов и устройств на Android, Apple iOS и прочее. Покажем как правильно выбирать устройства для покупок.

В процессе наших экспериментов с сайтами по оптимизации и настройке, в рубрике Вебмастер Мы делимся своим опытом в том как создать свой сайт на популярных платформах Joomla, Wordpress, настроить его и оптимизировать.

Самые популярные метки