Создание сайт на Joomla 3 требует особого отношения к настройке, от которой будет зависеть успешная индексация сайта и наличие дублей.
Сайтам работающим в рунете рекомендуется настраивать Robots учитывая капризы Яндекса. Для этого первая часть должна состоять из настроек для Яндекса и выглядит примерно так:
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*mailto/
Disallow: /*.pdf
Disallow: /*%
Disallow: /index.php
Host: innotechnews.com
Sitemap: http://innotechnews.com/sitemap
Отдельно следует остановиться на пунктах, которые не входят в стандартный Robots
Disallow: /*mailto/ - закроет от индексации возможный дубль страницы для печати
Disallow: /*.pdf - - закроет от индексации возможный дубль страницы в формате .pdf
Disallow: /*% - закроет от индексации возможный дубль страницы использующие символ %
Disallow: /index.php - закроет от индексации дубль главной страницы
Host: http://innotechnews.com - необходима для указания поисковому роботу Яндекса о главном зеркале сайта.
Sitemap: http://innotechnews.com/sitemap - указывает роботу на карту сайта
Более детально с правилами использования robots.txt для Яндекса описано в Инструкции
Далее нами было включено в игнорирование роботами всех компонентов
Disallow: /components/
Сделано это для того, чтобы не дублировались страницы и не индексировались незначительные Тэги. Самые часто упоминаемые Тэги были перенесены нами в Верхнее меню (APPLE, GOOGLE, BLACKBERRY, SEO, ИГРЫ, НАСТРОЙКА)
Нами также была исключена их стандартного Robots строка про запрет индексации Изображений
Disallow: /images/
Это позволит поисковым роботам включать изображения с сайта в поиск.
Вторая часть robots.txt касается всех остальных поисковых роботов и может выглядеть следующим образом.
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*mailto/
Disallow: /*.pdf
Disallow: /*%
Disallow: /index.php