Руководство для web-мастеров по мета-тэгу для роботов (Robots META tag)
Руководство для web-мастеров по мета-тэгу для роботов (Robots META tag)
12.03.2002
Где размещать Robots META tag? Как и любой META tag он должен быть размещён в разделе HEAD HTML-страницы.
Что размещать в Robots META tag? Поле content для Robots META tag содержит директивы, разделяемые запятыми. В данный момент определены следующие директивы: [NO]INDEX и [NO]FOLLOW. Директива INDEX определяет, должен ли робот индекировать страницу. Директива FOLLOW – должен ли робот проследовать по ссылкам на странице. По умолчанию заданы INDEX и FOLLOW. Значения ALL и NONE включают или выключают директивы: ALL=INDEX,FOLLOW и NONE=NOINDEX,NOFOLLOW. Несколько примеров: Обратите внимание, что значение полей name ("robots") и content не чувствительны к регистру. Вы не должны определять конфликтующие или дублирующие директивы, например так: Формальный синтаксис поля content для the Robots META tag: content = all | none | directives all = "ALL" none = "NONE" directives = directive ["," directives] directive = index | follow index = "INDEX" | "NOINDEX" follow = "FOLLOW" | "NOFOLLOW".