Что такое и как создать файл Robots.txt

Опубликовано: 10 Сентябрь 2010Рубрика: Оптимизация сайта, SEO

Что такое и как создать файл Robots.txtПриятно, когда поисковые системы часто посещают Ваш сайт и индексируют контент. Но иногда бывает так, что индексирование некоторых файлов, становится не желательным. Например, если у вас есть два одинаковых варианта страницы (одна для просмотра в браузере, а другая для печати). Получается, что содержание страницы на Вашем сайте дублируется, ну а поисковики такое не любят. В нашем случае нужно исключить печатную версию из сканирования, иначе Вы рискуете быть наказанным за навязывание повторяющегося контента(то есть спам). Кроме того, если вы хотите сэкономить трафик, исключением из индексации изображений, таблиц стилей и JavaScript, можно также приказать паукам, держаться подальше от этих файлов. Подробнее »

Robots.txt против Sitemap

Опубликовано: 2 Июль 2010Рубрика: Оптимизация сайта, SEO

Robots против Sitemap

Большинство страниц любого сайта открыты для индексации поисковыми системами, но существуют страницы, которые вы не хотите индексировать.

Сегодня, когда я натолкнулся на страницы своего сайта, которые не должны были быть проиндексированы, я был немного удивлен/поражен. Содержание было специально заблокировано от пауков с помощью 2 различных методов — robots.txt и мета-тегами NOINDEX/NOFOLLOW. Подробнее »

Наверх