25 Ноября 2024
В избранные
Сделать стартовой
Подписка
|
|
|
|||||
|
Технологии
Самая популярная в мире поисковая система Google начала блокировать
доступ к некоторым своим страницам для роботов, собирающих информацию
для других поисковиков. Как отмечается, всего было заблокировано 19
областей Google, включая архив телеконференций Usenet и базу данных
для поиска изображений на веб-страницах.
Блокировка была реализована способом, заложенным в стандарт Robots Exclusion Protocol, согласно которому функционирует абсолютное число поисковых роботов. Согласно требованиям стандарта, перед обращением к содержимому сайта робот должен найти специальный файл robots.txt, в котором указывается список запрещенных разделов, и затем обходить их в процессе сбора информации. Основной причиной такого шага Google, по словам представителя компании Нейта Тайлера, стало желание сохранить производительность серверов. Как отметил Тайлер, обслуживание роботов отнимает большое количество ресурсов, что может замедлить работу с поисковой системой для других пользователей. Другой возможной причиной, которая, правда, не указывается официально, могло стать стремление компании защитить эксклюзивную информацию, вроде того же архива Usenet, от доступа конкурентов, сообщает Компьюлента.
Рекомендуем
Обсуждение новости
| ||||||
|
||||||
|
||||||
Наш канал в Telegram
вверх
Пишите нам