Есть ли на Вашем сайте файл sitemap.xml? Если нет, то почему его нужно установить? Во-первых, что из себя представляет файл sitemap.xml: Подробнее »

Robots.txt против Sitemap

Опубликовано: 2 Июль 2010Рубрика: Оптимизация сайта, SEO

Robots против Sitemap

Большинство страниц любого сайта открыты для индексации поисковыми системами, но существуют страницы, которые вы не хотите индексировать.

Сегодня, когда я натолкнулся на страницы своего сайта, которые не должны были быть проиндексированы, я был немного удивлен/поражен. Содержание было специально заблокировано от пауков с помощью 2 различных методов — robots.txt и мета-тегами NOINDEX/NOFOLLOW. Подробнее »

Наверх