Спам — проблема века
Что такое спам, или Кто настраивает фильтры
Конечно, спам — это плохо, а следовательно, борьба со спамом — это хорошо. Казалось бы, все просто, однако у этой борьбы есть и оборотная сторона. Вероятно, вы сталкивались с ситуацией, когда ваше деловое письмо по непонятной причине было вырезано фильтром, которому показалось, что это спам. Еще хуже, что теперь ваш адрес попал в черный список. А получатель, которому вы в недоумении звоните, говорит, что надо написать сисадмину — тот разберется, что случилось. Точного определения, что такое спам, еще нет. Пока юристы обсуждают формулировки, дадим простое определение: «Спамом в каждом конкретном случае является то, что подпадает под отсеивающие политики, которые настроит администратор данного почтового сервера». В таком случае сразу понятно, от кого зависит, будет ли письмо отсеяно как спам. Возможность определять, какую почту пропускать, а какую отсекать, дает дополнительные рычаги власти. А желающие покомандовать всегда найдутся. В такой ситуации электронная почта перестает быть средством свободного общения и тем более надежного бизнеса.
Другая крайность — это спам-фильтр, который не отбрасывает письма, а помещает их в специальную папку. Как только приходит письмо с подозрением на спам, программа информирует об этом пользователя, предлагая удостовериться, что письмо действительно содержит спам! Согласитесь, такая политика безопасности жизнь вовсе не облегчает. Я, конечно, не ратую за спам, но принцип в борьбе с ним должен быть один — «Не навреди!»
Законодательная борьба со спамом
В США в декабре 2003 года вступил в силу закон, согласно которому злостные отправители спама могут быть оштрафованы на сумму до 6 млн. долл. и заключены под стражу на пять лет. Однако, согласно исследованиям компании CipherTrust, 86% спама, полученного в период с мая по июль этого года, пришло именно из США. Для получения этих сведений компания исследовала около 5 млн. нежелательных писем, отправленных одной тысяче клиентов CipherTrust. В то время как американские спамерские IP-адреса составляют только 28% от общего количества, с них рассылается во много раз больше спама, чем со спамерских адресов в других странах. Похоже, спамеров из США не сильно пугает вышеупомянутый закон.
Для сравнения: доля спамерских адресов Южной Кореи составляет 29%, но оттуда приходит только 3% сообщений от общего количества, из Китая и Гонконга — тоже 3%, из Канады — 2%, а украинские спамеры вносят свой вклад в размере 1,5% от всех полученных непрошеных сообщений.
Малоэффективными считают законодательные меры по борьбе со спамом и в компании Sophos, занимающейся разработкой программ для борьбы с вирусами и спамом. В опубликованном компанией отчете о распространении спама в мире говорится, что 42% спамерской корреспонденции рассылается из США, что, по мнению экспертов компании, свидетельствует о бесполезности принятого в этой стране запрета на спам.
Австралийский опыт, напротив, говорит о положительном эффекте административных и законодательных мер по борьбе со спамом. Недавно Министерство коммуникаций сообщило о позитивных результатах борьбы со спамом вследствие введения крупных штрафов — до 780 тыс. долл. в день.
Как заявил глава этого ведомства Боб Хортон (Bob Horton), принятый в апреле 2004 года пакет законов был направлен на борьбу с крупными спамерами.
Компания Spamhaus, отслеживающая циркулирующие в сети потоки спама, подтвердила слова министра, отметив, что количество несанкционированной рекламы, исходящей с австралийских серверов, в последнее время значительно уменьшилось. После введения новых законов крупные австралийские спамеры стараются перенести свои операции в другие страны.
Некоторые борцы со спамом ратуют за установление законов, согласно которым компании получат право рассылать рекламу по электронной почте при соблюдении ряда условий:
- необходимо указывать реальные электронный и физический адреса организаторов рассылки;
- заголовок письма должен соответствовать его содержанию;
- реклама сексуального характера должна четко обозначаться;
- в каждом рекламном письме должен быть описан способ отказа от рекламы.
Нарушителям этих правил грозит до пяти лет тюремного заключения и крупные штрафы.
Некоторые же, однако, считают, что подобные законы малоэффективны и приведут к увеличению объемов рекламных рассылок, которые, по сути, станут узаконенными.
Решить проблему спама берутся самые разные организации. В частности, ООН намерена установить контроль за рассылками электронных писем в течение ближайших двух лет путем стандартизации законодательства во всем мире, чтобы было легче преследовать спамеров в судебном порядке.
Новые технологии борьбы со спамом
В большинстве спамерских писем используются поддельные адреса. В существенной мере этому способствуют открытость почтового протокола и сложность определения реального отправителя письма. Попытаться определить источник письма можно по следующим трем пунктам:
Envelope-from — заголовку, добавляемому в письмо почтовыми программами при доставке его конечному получателю;
From — значению поля «От кого» в сообщении;
другим служебным заголовкам, которые могут использоваться как справочная информация (Sender, Resent-To, Resent-From и т.п.).
Спамеры могут пытаться фальсифицировать эти параметры: From — чтобы ввести в заблуждение пользователей, Envelope-from — чтобы обмануть почтовые серверы и антиспамовые системы. В последнее время для уменьшения возможности подобного обмана была предложена технология идентификации отправителя электронного сообщения — SPF (Sender Policy Framework), разработанная компанией Meng Weng Wong. Эта технология позволяет владельцу почтового домена описать, в какой степени он рекомендует доверять тем или иным серверам, отправляющим почту от имени почтовых адресов в этом домене, а получателю письма — проверить, соответствуют ли два параметра — IP-адрес сервера отправителя и адрес, указанный в письме, — политике домена, которому этот адрес принадлежит.
Еще одна технология — Sender ID — была создана на стыке двух технологий: Caller ID (предыдущая разработка Microsoft) и SPF. Стандарт Called ID (анонсированный в марте) предписывает провайдеру, пропускающему через себя почтовый трафик, маркировать каждое письмо настоящим IP-адресом, с которого оно было послано. Сторона получателя проверяет эту маркировку по своей базе данных и фильтрует почту.
Повсеместное внедрение Sender ID позволит устранить серьезную брешь в безопасности электронной почты, технологии которой сегодня не препятствуют любому человеку подделать адрес отправителя, чем активно пользуются спамеры и вирусописатели.
Проверка позволяет определить, был ли адрес подделан, что в дальнейшем можно учесть в антиспамовом фильтре.
По словам директора Microsoft по технологиям безопасности и стратегического развития Крейга Шпицля (Craig Spiezle), Microsoft введет проверку подлинности отправителей электронных писем с помощью технологии Sender ID уже в октябре этого года. Причем проверяться на подлинность отправителей будет вся почта, приходящая на поддерживаемые компанией почтовые адреса, а это не только корпоративные адреса в домене microsoft.com, но и почтовые ящики пользователей MSN и бесплатной почтовой службы MSN Hotmail.
Sender ID позволяет однозначно установить, из какого источника получено электронное письмо, и определить подлинность отправителя путем сопоставления IP-адреса, с которого было отправлено письмо, с IP-адресом, соответствующим домену, в котором находится заявленный адрес отправителя.
Чтобы гарантировать свободное прохождение почты на свои адреса, Microsoft рекомендует всем провайдерам электронной почты обеспечить поддержку Sender ID до конца сентября.
Согласно новым правилам, которые пытается ввести Microsoft, провайдеры почтового трафика должны прописать в DNS специальные SPF-записи, чтобы получатели могли однозначно определять, не подделан ли адрес отправителя. При этом сервер получателя будет проверять письмо как на уровне «конверта», так и на уровне «тела сообщения».
Письма с серверов без поддержки Sender ID не будут отбрасываться, однако, в отличие от писем с Sender ID, им придется проходить через фильтры спама, основанные на статистических алгоритмах. Некоторые почтовые службы уже поддерживают Sender ID. В частности, недавно о поддержке Sender ID объявила компания «Яндекс».
SPF-записями обзавелись уже многие провайдеры, однако пока лишь единицы решились включить проверку входящей корреспонденции по этому стандарту. Компания Мicrosoft, как один из крупнейших провайдеров электронной почты, надеется, что ее пример подтолкнет другие компании к использованию SPF.
Следует, однако, отметить, что сами по себе технологии подтверждения адреса отправителя (SPF и Sender ID) не являются действенными методами борьбы со спамом. Об этом, в частности, заявляют представители CipherTrust. По данным компании, технологии SPF и Sender ID активно осваивались не только провайдерами и компаниями, но и спамерами. В мае — июле этого года около 5% проверенных CipherTrust электронных писем приходили с серверов, поддерживающих SPF или Sender ID, и спама среди этих 5% было даже несколько больше, чем обычных писем.
Ничто не мешает спамерам, использующим собственные почтовые серверы, внедрить поддержку SPF или Sender ID. В этом случае нельзя подделать обратный адрес и сложнее избежать попадания в черные списки, однако самому факту проведения рассылки ничто не мешает. По словам разработчиков технологии SPF, ее задача — воспрепятствовать подделке обратных адресов, и не более того. А в том, что спамеры будут использовать SPF и Sender ID, нет ничего плохого. Напротив, при достаточно широком распространении этих технологий упростятся процессы ведения списков спамерских серверов и блокировки корреспонденции с них.
Недавно появилось сообщение о том, что IBM разработала еще одну технологию борьбы со спамом — SpamGuru, объединяющую ряд антиспамовых технологий, которые анализируют как источник, так и содержание письма.
К широко применяемым антиспамовым технологиям, таким как идентификация отправителя, анализ DNS, использование белых и черных списков, байесовская фильтрация, SpamGuru добавляет новую технологию Chung-Kwei — алгоритм, который ранее использовался в биотехнологии. Этот алгоритм создан специалистами исследовательского подразделения корпорации IBM и предназначен для поиска повторяющихся участков в цепочках ДНК и аминокислот. При тестировании Chung-Kwei выявил 96,56% спама при уровне ложных срабатываний 0,066%. Кроме комбинации различных технологий, SpamGuru автоматически поддерживает белые и черные списки, которые пользователи смогут легко конфигурировать в зависимости от своих потребностей и от спамерских технологий, а также предоставляет пользователям возможность определять уровень фильтрации для контроля ложных срабатываний.
IBM планирует сделать доступной технологию SpamGuru в решении Lotus Workplace Messaging 2.0 уже этой осенью. Официальное решение о включении SpamGuru в Lotus Domino пока не принято.
Российская статистика удручает
Лаборатория «Спамтест», принадлежащая компании «Ашманов и партнеры», подвела итоги исследования активности спамеров в Рунете в первой половине этого года. В опубликованном отчете отмечается, что к концу первого полугодия уровень спама достиг значения 70-80% от общего объема почтового трафика Рунета. По данным лаборатории «Спамтест», в конце 2003 года доля спама составляла 65-70% от общего объема трафика.
Как было выявлено, спам подвержен сезонным колебаниям, коррелирующимся с движением почты и активностью рекламных кампаний.
Лаборатория «Спамтест» зафиксировала минимум спама 3 мая. В корпоративной почте некоторых небольших компаний доля спама в этот день снизилась до минимального показателя — 5%, а сразу после майских праздников спамеры возобновили свою деятельность, и нарастание объема рассылок идет так же активно, как до этого шел их спад.
Лаборатория «Спамтест» понимает под спамом незапрошенные коммерческие рекламные рассылки, отвечающие требованиям массовости и анонимности. Но рядовые пользователи склонны расширять границы этого понятия, приравнивая к спаму все виды неинформативных и нежелательных сообщений — автоответы почтовых роботов, письма с вирусами и т.п., тем более что для проведения некоторых видов подобных рассылок (например, для рассылки вирусов) все чаще используется специализированное спамерское программное обеспечение.
Тенденция объединения спамерских и хакерских технологий наметилась еще в 2003 году, когда спамерское ПО впервые было применено для массированной вирусной атаки. Эта тенденция наблюдается и в нынешнем году: в первом полугодии было зафиксировано несколько вирусных атак, во время которых вирусы рассылались по электронной почте.
Эпидемии вирусов приводят к росту спамерского трафика. Они провоцируют появление большого количества не только содержащих вирусы писем, но и других видов нежелательной почты, например безобидных писем, от которых вирус был «отрезан» каким-либо антивирусом, или многочисленных автоматических отказов в доставке, информирующих пользователя о наличии вируса в корреспонденции с его машины.
Тематика коммерческих рассылок меняется в зависимости от многих факторов, например от сезона: летом спамеры предлагают кондиционеры и отдых в Турции.
Основные темы спама представлены в таблице.
По данным лаборатории «Спамтест», в первом полугодии 2004 года в спамерских потоках Рунета были отмечены несколько новых разновидностей спама. Многие из них одновременно являются неприкрытым мошенничеством (в англоязычной части Сети такие письма называются scam) — это новые разновидности «нигерийских» писем, попытки украсть логины/пароли от известных банковских систем или от почтовых ящиков и т.п.
«Нигерийские» письма — это сообщения, написанные от имени граждан стран с нестабильной экономикой. Автор такого письма обычно утверждает, что он располагает миллионами долларов, которые хранятся в обход закона, и по этой причине не может разместить деньги в банке. Ему срочно требуется счет, куда можно перечислить «грязные» деньги. В качестве вознаграждения за помощь он предлагает от 10 до 30% от заявленной в письме суммы. После того как доверчивый пользователь предоставляет автору письма доступ к своему счету, деньги с него, естественно, исчезают.
До сих пор подобные письма писались исключительно на английском языке, а в первом полугодии этого года появились аналогичные письма на русском языке. А на английском теперь эксплуатируют ситуацию, сложившуюся в российской экономике, в частности арест Михаила Ходорковского и нестабильное положение компании «Юкос». Например, в одном из писем на ломаном английском написано следующее: «... в связи с арестом г. Ходорковского мне необходимо перевести конфиденциально 10 000 000 долларов...».
Относительно новая разновидность спама — это предложения и советы по инвестированию. В большинстве случаев письмо содержит описание «биржевого лидера недели», то есть информацию о компании, которая якобы находится на подъеме стоимости акций. Фактически это попытка повлиять на предпочтения инвесторов и курс акций (очевидно, заказанная игроком фондового рынка).
В международной классификации спама подобные письма относят к мошенничеству (scam), хотя и не запрещенному юридически. Можно предположить, что большинство таких рассылок оплачены держателями акций мелких компаний, желающими, например, поднять стоимость акций до максимума и оперативно продать их, пока они снова не упали в цене.
В 2003 году эксперты компании «Ашманов и партнеры» прогнозировали развитие политического и прочего «агитационного» спама. В первом полугодии нынешнего года эти прогнозы полностью оправдались. Спам активно использовался в избирательных кампаниях, пришедшихся на начало 2004 года.
Еще одна тематическая новинка этого года — предложения антиспамерского ПО.
Строго говоря, первые сообщения такого рода были зафиксированы почти год назад, но тогда они были единичными на фоне общего почтового трафика Рунета. Сейчас их количество стало заметным, хотя и не превышает 1% от общего объема спама.
Спамерскими эти предложения являются как по способу организации рассылки (массовая, анонимная, незапрошенная), так и по сути предложений: большинство ссылок на сайты, где пользователь должен искать антиспамерское ПО, уже недоступны к моменту получения письма или, что гораздо хуже, содержат вирусы.
Открытки «с секретом» — еще один пример тесной консолидации спамеров и создателей вирусов. В первом полугодии 2004 года было зафиксировано как минимум две рассылки с использованием спамерских технологий и спамерского ПО, маскирующихся под сообщения о доставке открытки. Если пользователь совершал переход по ссылке, указанной в сообщении, то есть хотел получить открытку, то на странице такой псевдооткрытки его ждал вирус, который пытался загрузиться на пользовательскую машину.
Основные технологии, используемые спамерами при рассылках, остаются прежними:
- использование троянского ПО, установленного незаметно для пользователя на его компьютере;
- применение настроенных по умолчанию (то есть без пароля или с известным паролем) клиентских устройств доступа — ADSL-модемов, клиентских роутеров, WiFi-устройств, которые позволяют сразу (или после перенастройки злоумышленником) использовать пользовательские мощности для рассылки;
- использование старых добрых средств — открытых релеев, CGI-скриптов на сайтах и др., не изменившихся за последние шесть-восемь лет;
- NDR-attack (Non Delivery Report) — посылка письма с поддельным отправителем на несуществующий адрес. Отчет о недоставке, содержащий спам-сообщение, будет отправлен поддельному отправителю.
Следует, однако, отметить, что за этот период количественное соотношение описанных методов сильно изменилось. Если в прошлом году и ранее для доставки использовались в первую очередь файлообменные сети (Kazaa и подобные), то сегодня распространение происходит массово — через почтовые вирусы (Bagle, Lovgate) и через дыры в Web-браузерах.
Большинство крупных вирусных и browser-атак в последнее время носят уже явно коммерческий характер: их целью является установка на пользовательской машине троянских компонентов с последующим ее использованием в недобросовестных целях (рассылка спама, кардинг, DoS-атаки). Эти троянские компоненты, в свою очередь, принимают меры для собственной маскировки и для маскировки центра управления. Для управления могут использоваться, в частности, IRC-каналы или же просто сканирование всех поступающих на машину данных — в этом случае команды могут передаваться, например, в потоке спама.
В результате объем мощностей, доступных спамерам, резко увеличился. Сейчас наиболее мощные спамеры могут осуществлять рассылку в несколько миллионов писем в течение всего двух-трех часов, чтобы успеть до того, как среагируют компании, занимающиеся обновлением антиспам-фильтров. Компании — производители фильтров, в свою очередь, увеличивают частоту обновления баз данных.
Из прочих особенностей методов рассылки спама можно отметить пробные рассылки на публичные почтовые адреса, во время которых идет отладка доставки сквозь фильтры в режиме реального времени, и организацию фальшивых, то есть бессодержательных рассылок, которые используются для замусоривания почтового трафика и затруднения работы антиспамерского ПО.
Интересен случай с программой Darkmailer. Как выяснилось, многие спамеры использовали пиратскую версию данной программы для рассылок. А когда в начале марта эта версия перестала работать, то это привело к резкому сокращению количества спама на довольно продолжительный период.
Приемы обхода фильтров
Наиболее стремительно увеличивается частотность использования графики в спаме, тогда как количество писем с текстовыми модификациями, напротив, сокращается.
Вставка в сообщение «нарисованного» текста оказалась достаточно эффективным приемом, так как далеко не все фильтры умеют работать с графикой. Еще в начале года появились «мутирующие» письма-картинки, то есть графические письма с вносимыми при рассылке незаметными модификациями. В результате каждая картинка несколькими битами отличается от любой другой в рассылке, но на глаз никаких различий не заметно.
За первое полугодие 2004 года изменилась ситуация с модифицированными текстами спамерских сообщений. В конце прошлого года появилось множество писем, в которых в слова вставлялись случайным образом удвоенные буквы (например, слово «рассылка» могло выглядеть как «раассылка», «раасссылка» или даже «раассыллкаа»). Делалось это для обхода контентных фильтров, которые переставали узнавать измененные типичные спамерские фразы и выражения. Сейчас подобных писем осталось очень мало: эффективность этого приема оказалась ниже предполагаемой, а заказчики спама начали возражать против рассылки рекламы их товара/фирмы подобным образом, так как вид безграмотно написанного текста подрывал имидж компании.
Другие виды текстовых модификаций, например случайные цитаты и т.п., продолжают активно использоваться в спамерских сообщениях.
В целом список основных приемов спамеров для обхода фильтров не претерпел существенных изменений по сравнению с прошлым годом. Это по-прежнему:
- представление текста письма в виде изображения (графического файла);
- модификация текста сообщения посредством добавления цитат и случайных последовательностей;
- HTML-трюки (невидимый текст и пр.).
В статье использованы материалы отчета лаборатории «Спамтест», принадлежащей компании «Ашманов и партнеры».
Дайджест новых статей по интернет-маркетингу на ваш email
Новые статьи и публикации
- 2024-11-15 » Перенос сайта на WordPress с одного домена на другой
- 2024-11-08 » OSPanel 6: быстрый старт
- 2024-11-08 » Как установить PhpMyAdmin в Open Server Panel
- 2024-09-30 » Как быстро запустить Laravel на Windows
- 2024-09-25 » Next.js
- 2024-09-05 » OpenAI рассказал, как запретить ChatGPT использовать содержимое сайта для обучения
- 2024-08-28 » Чек-лист: как увеличить конверсию интернет-магазина на примере спортпита
- 2024-08-01 » WebSocket
- 2024-07-26 » Интеграция с Яндекс Еда
- 2024-07-26 » Интеграция с Эквайринг
- 2024-07-26 » Интеграция с СДЕК
- 2024-07-26 » Интеграция с Битрикс-24
- 2024-07-26 » Интеграция с Travelline
- 2024-07-26 » Интеграция с Iiko
- 2024-07-26 » Интеграция с Delivery Club
- 2024-07-26 » Интеграция с CRM
- 2024-07-26 » Интеграция с 1C-Бухгалтерия
- 2024-07-24 » Что такое сторителлинг: техники и примеры
- 2024-07-17 » Ошибка 404: что это такое и как ее использовать для бизнеса
- 2024-07-03 » Размещайте прайс-листы на FarPost.ru и продавайте товары быстро и выгодно
- 2024-07-01 » Профилирование кода в PHP
- 2024-06-28 » Изучаем ABC/XYZ-анализ: что это такое и какие решения с помощью него принимают
- 2024-06-17 » Зачем вам знать потребности клиента
- 2024-06-11 » Что нового в работе Яндекс Метрики: полный обзор обновления
- 2024-06-11 » Поведенческие факторы ранжирования в Яндексе
- 2024-06-11 » Скорость загрузки сайта: почему это важно и как влияет на ранжирование
- 2024-05-27 » Подборка сервисов для расшифровки аудио в текст
- 2024-05-27 » PostgreSQL 16. Изоляция транзакций. Часть 2
- 2024-05-06 » Как настраивать конверсионные стратегии: работа над ошибками
- 2024-04-22 » Комментирование кода и генерация документации в PHP
Все мы сидим в сточной канаве, но некоторые при этом смотрят на звезды Уайльд Оскар - (1854-1900) - английский писатель |
Мы создаем сайты, которые работают! Профессионально обслуживаем и продвигаем их , а также по всей России и ближнему зарубежью с 2006 года!
Как мы работаем
Заявка
Позвоните или оставьте заявку на сайте.
Консультация
Обсуждаем что именно Вам нужно и помогаем определить как это лучше сделать!
Договор
Заключаем договор на оказание услуг, в котором прописаны условия и обязанности обеих сторон.
Выполнение работ
Непосредственно оказание требующихся услуг и работ по вашему заданию.
Поддержка
Сдача выполненых работ, последующие корректировки и поддержка при необходимости.