Протоколы Internet


Язык HTML - часть 129


<link rel="alternate"

type="text/html"

href="mydoc-fr.html" hreflang="fr"

lang="fr" title="la vie souterraine">

<link rel="alternate"

type="text/html"

href="mydoc-de.html" hreflang="de"

lang="de" title="das leben im untergrund">

Обеспечение ключевыми словами и описаниями

Некоторые системы индексации ищут META-элементы, которые определяют список ключевых слов или фраз, разделенных запятыми, или которые дают краткие описания. Поисковая система может представить эти ключевые слова в качестве результата поиска. Значение атрибута имени, которое ищется атрибутом поиска, не определено спецификацией. Рассмотрим такие примеры,

<meta name="keywords" content="vacation, greece, sunshine">

<meta name="description" content="idyllic european vacations">

Выделение начала коллекции

Собрание документов, где ищутся слова, часто преобразуется в собрание HTML-документов. Для результатов поиска полезно указать начало такого собрания. Вы можете помочь системе поиска. Использовав элемент Link с rel="start" и атрибутом title attribute, как в:

<link rel="begin"

type="text/html"

href="page1.html"

title="general theory of relativity">

Роботы с инструкцией индексирования

Люди могут удивиться, узнав, что их сайт был индексирован роботом, хотя роботу не было разрешено посещать некоторые критические секции. Многие web-роботы предлагают возможности администраторам сайтов и провайдерам информации ограничить возможности роботов. Это достигается с помощью двух механизмов: файла "robots.txt" и элемента meta в HTML-документах, как это показано ниже.

41. Поисковые роботы

Файл robots.txt

Когда робот посещает сайт, скажем http://www.foobar.com/, он сначала проверяет наличие http://www.foobar.com/robots.txt. Если он нашел этот документ, он анализирует его содержимое и выясняет, разрешен ли допуск к документу. Вы можете указать, что файл robots.txt доступен только для специальных роботов, и запретить доступ к определенным каталогам и файлам. Ниже приведен пример файла robots.txt, который препятствует всем роботам посещение всего сайта.




Начало  Назад  Вперед