Список поисковых ботов для User-agent в robots.txt

Для запрета индексации вашего сайта или определенных разделов ресурса поисковыми ботами используется два метода: добавление мета тегов на страницу либо создание файла robots.txt. Часто вебмастера сталкиваются с вопросом о юзер-агенте ботов той или иной поисковой системы. Зная значения User-agent для поисковых ботов, можно запретить, либо наоборот, открыть доступ тому или иному боту, например следующими строками:
User-agent: *
Disallow: /User-agent: Mediapartners-Google
Disallow:
Верхние строки запретят всем ботам индексировать контент, кроме бота AdSense (если на сайте показываются объявления AdSense).
Ниже приведен список наиболее часто встречаемых ботов, принадлежащих известным поисковым системам.
| Поисковик | URL | User-agent |
|---|---|---|
| http://www.google.com | Googlebot | |
| Yahoo! | http://www.yahoo.com | Slurp Yahoo! Slurp |
| AOL | http://www.aol.com | Slurp |
| MSN | http://www.msn.com | MSNBot |
| Live | http://www.live.com | MSNBot |
| Ask | http://www.ask.com | Teoma |
| AltaVista | http://www.altavista.com | Scooter |
| Alexa | http://www.alexa.com | ia_archiver |
| Lycos | http://www.lycos.com | Lycos |
| Яндекс | http://www.ya.ru | Yandex |
| Рамблер | http://www.rambler.ru | StackRambler |
| Мэйл.ру | http://mail.ru | Mail.Ru |
| Aport | http://www.aport.ru | Aport |
| Вебальта | http://www.webalta.ru | WebAlta WebAlta Crawler/2.0 |
Примечание:
У некоторых крупных поисковых систем помимо основных поисковых ботов существуют также роботы для индексации блогов, новостей, изображений и т.д. Вот некоторые из них:
Googlebot-Mobile выполняет обход страниц для включения их в индекс для мобильных устройств.
Googlebot-Image сканирует страницы для включения в индекс картинок.
Mediapartners-Google сканирует страницы для определения содержания AdSense объявлений.
Adsbot-Google сканирует страницы для определения качества целевых страниц AdWords.
MSNBot-NewsBlogs – сканирует для поиска новостей в сети Интернет.
MSNBot-Products – сканирует для поиска продуктов, которые можно приобрести в Интернете.
MSNBot-Media – сканирует страницы для поиска мультимедийных файлов.
|
Для запрета индексации вашего сайта или определенных разделов ресурса поисковыми ботами используется два метода: добавление мета тегов на страницу либо создание файла robots.txt. Часто вебмастера |
РэдЛайн, создание сайта, заказать сайт, разработка сайтов, реклама в Интернете, продвижение, маркетинговые исследования, дизайн студия, веб дизайн, раскрутка сайта, создать сайт компании, сделать сайт, создание сайтов, изготовление сайта, обслуживание сайтов, изготовление сайтов, заказать интернет сайт, создать сайт, изготовить сайт, разработка сайта, web студия, создание веб сайта, поддержка сайта, сайт на заказ, сопровождение сайта, дизайн сайта, сайт под ключ, заказ сайта, реклама сайта, хостинг, регистрация доменов, хабаровск, краснодар, москва, комсомольск |
Дайджест новых статей по интернет-маркетингу на ваш email
Новые статьи и публикации
- 2026-07-03 » Аналитика нового поколения: как Яндекс Метрика превращает данные в управляемые конверсии
- 2026-07-03 » Прорыв в инфлюенс-маркетинге: Яндекс Директ научился оптимизировать рекламу в Telegram и MAX под реальные продажи
- 2026-07-03 » Нейросетевой дуэт: как Gorgona и Argus меняют правила игры в контекстной рекламе Яндекса
- 2026-07-03 » Рекламная революция в «Яндекс Директе»: с 14 июля текстово-графические объявления окончательно уступают место комбинаторным
- 2026-07-03 » Макс запустил тест комментариев в публичных каналах
- 2026-07-01 » Уникальность текста: когда копировать контент можно, а когда нельзя
- 2026-07-01 » Локальный поиск в 2026 году: как алгоритмы ранжируют бизнес
- 2026-07-01 » ПромоСтраницы Яндекса: инструмент, который меняет правила игры в контент-маркетинге
- 2026-07-01 » Контент для строительных компаний: какими текстами наполнить сайт, чтобы он приносил клиентов
- 2026-07-01 » Искусство диалога с ИИ: как составить промпт, чтобы нейросеть поняла вас с полуслова
- 2026-06-26 » Новый виток эффективности: товарные объявления в Директе теперь работают на ретаргетинг мобильных приложений
- 2026-06-26 » Характеристики товаров в Товарной галерее Яндекса: как одна деталь увеличивает продажи на 4%
- 2026-06-26 » Новая реальность контент-маркетинга: треть цитируемых ChatGPT страниц невидимы для Google
- 2026-06-26 » Конец текстово-графических объявлений: Яндекс Директ переводит ЕПК на комбинаторный формат
- 2026-06-26 » Конец эпохи: Google окончательно отключает блокировщики рекламы в Chrome
- 2026-06-10 » Новые штрафы за неисполнение правил авторизации
- 2026-06-10 » Новая реальность: MAX под прицелом
- 2026-06-10 » Банки и операторов связи обяжут компенсировать похищенное мошенниками
- 2026-06-10 » Что такое «белый VPN» и чем он отличается от обычного?
- 2026-06-10 » Когда ИИ придумывает «факты»: анатомия кризиса вымышленной статистики
- 2026-06-10 » Автостратегии Яндекс.Директа: стоит ли использовать в 2026 году
- 2026-06-10 » SMM в 2026: от охватов к доверию — полный гид по стратегии
- 2026-06-10 » Яндекс.Директ вышел на новый уровень: теперь реклама в каналах «Макса» с точным таргетингом
- 2026-06-10 » РСЯ с 1 июля прекращает сотрудничество с партнерами-физлицами: что делать, чтобы не потерять доход
- 2026-06-10 » Макс становится супераппом: бесконтактная оплата через СБП в несколько секунд
- 2026-06-05 » Как Яндекс передал площадкам управление собственным контентом
- 2026-06-05 » Как создавать гайды и инструкции с помощью нейросетей
- 2026-06-05 » Попадет ли ваш сайт в ответы нейросетей
- 2026-06-05 » Как настроить контекстную рекламу в B2B, чтобы вы получали реальные сделки, а не сотни пустых заявок
- 2026-06-05 » Когда клиент говорит «нет», а конкурент уже набирает номер
Самый лучший человек тот, который живет преимущественно своими мыслями и чужими чувствами, самый худший сорт человека - который живет чужими мыслями и своими чувствами. Из различных сочетаний этих четырех основ, мотивов деятельности - все различие людей. Люди, живущие только своими чувствами, - это звери. Толстой Лев Николаевич - (1828-1910) - великий русский писатель. Его творчество оказало огромное влияние на мировую литературу |
Мы создаем сайты, которые работают! Профессионально обслуживаем и продвигаем их , а также по всей России и ближнему зарубежью с 2006 года!
Как мы работаем
Заявка
Позвоните или оставьте заявку на сайте.
Консультация
Обсуждаем что именно Вам нужно и помогаем определить как это лучше сделать!
Договор
Заключаем договор на оказание услуг, в котором прописаны условия и обязанности обеих сторон.
Выполнение работ
Непосредственно оказание требующихся услуг и работ по вашему заданию.
Поддержка
Сдача выполненых работ, последующие корректировки и поддержка при необходимости.

Мы создаем практически любые сайты от продающих страниц до сложных, высоконагруженных и нестандартных веб приложений! Наши сайты это надежные маркетинговые инструменты для успеха Вашего бизнеса и увеличения вашей прибыли! Мы делаем красивые и максимально эффектные сайты по доступным ценам уже много лет!
Комплексный подход это не просто продвижение сайта, это целый комплекс мероприятий, который определяется целями и задачами поставленными перед сайтом и организацией, которая за этим стоит. Время однобоких методов в продвижении сайтов уже прошло, конкуренция слишком высока, чтобы была возможность расслабиться и получать \ удерживать клиентов из Интернета, просто сделав сайт и не занимаясь им...
Мы оказываем полный комплекс услуг по сопровождению сайта: информационному и техническому обслуживанию и развитию Интернет сайтов.
Контекстная реклама - это эффективный инструмент в интернет маркетинге, целью которого является увеличение продаж. Главный плюс контекстной рекламы заключается в том, что она работает избирательно.