Google индексирует файлы со списком того, что нельзя индексировать
В списке рассылки Seclists Full Disclosure развернулась любопытная дискуссия о том, считать ли уязвимостью специфичное поведение поисковой системы Google. Дело в том, что поисковый бот индексирует файлы со списком директорий, которые запрещено индексировать. Речь идёт о файлах robots.txt, в которых веб-мастера часто указывают список таких директорий. Это могут быть админские интерфейсы (/admin) или другие системы, не предназначенные для всеобщего доступа (/backup, /password и проч.).
Эта информация представляет некоторую ценность для нападающего, потому что даёт ему возможность быстро найти места хранения секретной информации. За примерами далеко ходить не надо:
http://www.google.com/search?q=inurl:robots.txt+filetype%3Atxt+Disallow%3A+%2Fadmin
http://www.google.com/search?q=inurl:robots.txt+filetype%3Atxt+Disallow%3A+%2Fbackup
http://www.google.com/search?q=inurl:robots.txt+filetype%3Atxt+Disallow%3A+%2Fpassword
Подобные поисковые запросы злоумышленник может использовать для поиска жертв.
http://www.google.com/search?q=inurl:robots.txt+filetype%3Atxt+%2FDisallow%3A+wp-admin
http://www.google.com/search?q=inurl:robots.txt+filetype%3Atxt+%2FDisallow%3A+typo3
Список можно продолжать.
Естественно, веб-мастера могут защититься от таких атак. Первым приходит вариант запретить индексирование robots.txt в самом файле robots.txt, но такой вариант с Google не пройдёт. Но есть другой способ: просто не указывать такие папки в файле robots.txt, а вместо этого проверять идентификатор посетителя и запрещать доступ роботов по этому адресу, выдавая на попытку доступа ошибку 404, или закрыть папки через htaccess, так что робот получит ошибку 401. Но всё это не отменяет вопроса: зачем вообще Google индексирует служебные файлы robots.txt и включает их в поисковую выдачу?
Ситуация в каком-то смысле парадоксальная. Можно составить примерно такой диалог:
Злоумышленник: Google, можешь показать сайты с открытыми директориями /wp-admin/?
Google: Нет, я не знаю таких директорий, мне запрещено их индексировать.
Злоумышленник: Хорошо, тогда можешь дать список хостов, где есть robots.txt с инструкцией на запрет индексировать /wp-admin/?
Google: Конечно, вот пожалуйста.
Подробнее: http://www.xakep.ru/post/59801/default.asp
|
В списке рассылки Seclists Full Disclosure развернулась любопытная дискуссия о том, считать ли уязвимостью специфичное поведение поисковой системы Google. Дело в том, что поисковый бот индексирует |
РэдЛайн, создание сайта, заказать сайт, разработка сайтов, реклама в Интернете, продвижение, маркетинговые исследования, дизайн студия, веб дизайн, раскрутка сайта, создать сайт компании, сделать сайт, создание сайтов, изготовление сайта, обслуживание сайтов, изготовление сайтов, заказать интернет сайт, создать сайт, изготовить сайт, разработка сайта, web студия, создание веб сайта, поддержка сайта, сайт на заказ, сопровождение сайта, дизайн сайта, сайт под ключ, заказ сайта, реклама сайта, хостинг, регистрация доменов, хабаровск, краснодар, москва, комсомольск |
Дайджест новых статей по интернет-маркетингу на ваш email
Новые статьи и публикации
- 2026-06-10 » Новые штрафы за неисполнение правил авторизации
- 2026-06-10 » Новая реальность: MAX под прицелом
- 2026-06-10 » Банки и операторов связи обяжут компенсировать похищенное мошенниками
- 2026-06-10 » Что такое «белый VPN» и чем он отличается от обычного?
- 2026-06-10 » Когда ИИ придумывает «факты»: анатомия кризиса вымышленной статистики
- 2026-06-10 » Автостратегии Яндекс.Директа: стоит ли использовать в 2026 году
- 2026-06-10 » SMM в 2026: от охватов к доверию — полный гид по стратегии
- 2026-06-10 » Яндекс.Директ вышел на новый уровень: теперь реклама в каналах «Макса» с точным таргетингом
- 2026-06-10 » РСЯ с 1 июля прекращает сотрудничество с партнерами-физлицами: что делать, чтобы не потерять доход
- 2026-06-10 » Макс становится супераппом: бесконтактная оплата через СБП в несколько секунд
- 2026-06-05 » Как Яндекс передал площадкам управление собственным контентом
- 2026-06-05 » Как создавать гайды и инструкции с помощью нейросетей
- 2026-06-05 » Попадет ли ваш сайт в ответы нейросетей
- 2026-06-05 » Как настроить контекстную рекламу в B2B, чтобы вы получали реальные сделки, а не сотни пустых заявок
- 2026-06-05 » Когда клиент говорит «нет», а конкурент уже набирает номер
- 2026-05-28 » Как выбрать и законно использовать стоковые фото для сайта
- 2026-05-28 » Как составить УТП для сайта, которое выделит вас на фоне тысяч серых шаблонов
- 2026-05-28 » «Белый перечень» онлайн-площадок, сохраняющих доступность при отключении мобильного интернета, — что в него попало
- 2026-05-28 » Не туда пишете: как фатальная ошибка в целевой аудитории убивает даже самый качественный контент
- 2026-05-28 » Как оставить отзыв на Яндекс Картах, чтобы модерация его точно пропустила
- 2026-05-23 » Красивые баннеры не продают: почему в 2026 году побеждает простота
- 2026-05-23 » Управление репутацией в 2026 году: нейровыдача как единая система влияния на клиента
- 2026-05-23 » 168-ФЗ 2026: инструкция по русификации сайта
- 2026-05-23 » Куда идти, если Телеграм окончательно заблокируют
- 2026-05-15 » Как происходит утечка данных и как с этим бороться
- 2026-05-15 » B2B-сайт не продает: 5 ошибок UX, которые превращают лидов в призраков
- 2026-05-15 » Как выбрать качественный и недорогой хостинг: правда о дешёвых тарифах
- 2026-05-15 » Зачем сайту SSL-сертификат и как получить его бесплатно прямо сейчас?
- 2026-05-15 » 7 причин медленной работы сайта: почему уходят клиенты и как это исправить
- 2026-05-07 » Будущее без cookies: альтернативные решения для идентификации пользователей
Великие умы обсуждают идеи, средние - обсуждают поступки, а малые - людей Индийская пословица |
Мы создаем сайты, которые работают! Профессионально обслуживаем и продвигаем их , а также по всей России и ближнему зарубежью с 2006 года!
Как мы работаем
Заявка
Позвоните или оставьте заявку на сайте.
Консультация
Обсуждаем что именно Вам нужно и помогаем определить как это лучше сделать!
Договор
Заключаем договор на оказание услуг, в котором прописаны условия и обязанности обеих сторон.
Выполнение работ
Непосредственно оказание требующихся услуг и работ по вашему заданию.
Поддержка
Сдача выполненых работ, последующие корректировки и поддержка при необходимости.

Мы создаем практически любые сайты от продающих страниц до сложных, высоконагруженных и нестандартных веб приложений! Наши сайты это надежные маркетинговые инструменты для успеха Вашего бизнеса и увеличения вашей прибыли! Мы делаем красивые и максимально эффектные сайты по доступным ценам уже много лет!
Комплексный подход это не просто продвижение сайта, это целый комплекс мероприятий, который определяется целями и задачами поставленными перед сайтом и организацией, которая за этим стоит. Время однобоких методов в продвижении сайтов уже прошло, конкуренция слишком высока, чтобы была возможность расслабиться и получать \ удерживать клиентов из Интернета, просто сделав сайт и не занимаясь им...
Мы оказываем полный комплекс услуг по сопровождению сайта: информационному и техническому обслуживанию и развитию Интернет сайтов.
Контекстная реклама - это эффективный инструмент в интернет маркетинге, целью которого является увеличение продаж. Главный плюс контекстной рекламы заключается в том, что она работает избирательно.