Как мы тестируем антиспам и почему делаем это постоянно

ПО нужно тщательно протестировать, сравнить с аналогичными продуктами, а затем решать, стоит ли устанавливать его в продуктивной среде, обеспечит ли оно преимущества и удобства конечному потребителю услуги. Значительная часть спам-фильтров, таких как фильтрация по черным или белым спискам, anti-spoofing, антивирусная проверка входящих писем или фильтрация по стоп-словам, схожа с конкурирующими продуктами. Большинство платных программных продуктов включают в себя и open source-компоненты, которые разрешено использовать и распространять без ограничений. Некоторые из таких продуктов позиционируются как топовые в плане защиты от спама, хотя при проверке качества может оказаться, что их эффективность ниже бесплатных аналогов.

Проанализировав предложения на рынке антиспам-решений, мы выделили пять ключевых функциональных особенностей сервиса «виртуальный офис» (среды, обеспечивающей эффективную командную работу с использованием коммуникационных возможностей интернета):

Оптимальный антиспам для каждой компании свой, поскольку идеального решения, которое отвечало бы функциональным особенностям сервиса на высоком уровне, нет. Выбрать подходящую антиспам-систему поможет тестирование. Процесс разделяется на два этапа.

Предпочтительный вариант внутреннего тестирования – использование виртуализированной среды, в которой количество узлов, формирующих почтовый трафик (почтовых серверов типа postfix), минимум пять раз превосходит число узлов антиспама, который должен отфильтровать или отразить спам-атаку. Для того чтобы не нагружать виртуальные коммутаторы «мусорным» трафиком, виртуальные машины располагаются на одном или двух физических хостах без возможности передислокации на другие хосты виртуализации. Помимо минимизации «мусорного» трафика такой подход способствует тому, что при обработке потока используется внутренняя 10-гигабитная сеть с максимально возможным откликом. 

У каждого антиспам-решения есть требования к аппаратным ресурсам. При тестировании целесообразно их удвоить. Но при этом ресурсы серверов, формирующих спам-атаки, должны быть как минимум вчетверо больше. Например, если для антиспама требуется 4 CPU, 8 Gb RAM, 100 IOPS HDD, то у каждого из почтовых спам-серверов должно быть минимум 16 CPU, 32 Gb RAM, 400 IOPS HDD. 

Такие конфигурации позволят сделать скорость формирования почтовых очередей выше, чем скорость обработки антиспамом. Результаты должны фиксироваться системой мониторинга. Тестирование проводится в публичном облаке, поэтому результаты будут различными в зависимости от времени суток и текущей загрузки хостов. 

При тестировании целесообразно совершить минимум три подхода:

По этим трем подходам формируются усредненные показатели и выявляются узкие места в конфигурации антиспама, если таковые есть. Например, когда виртуальную машину с антиспамом забыли «прибить гвоздями» к хосту.

Внутреннее тестирование дает возможность выявить особенности и недостатки антиспам-решения.

Корректность настроек антиспама и его отдельных компонентов. Некоторые антиспам-продукты, например ESET Mail Security или SpamAssasin, имеют встроенный тест GTUBE (Generic Test for Unsolicited Bulk Email), который определяет, корректно ли настроена фильтрация. Если тест проходит неудачно, то дальнейшие действия не будут иметь смысла.

Узкие места в антиспаме, такие как «разваливание» кластера при 100%-ной загрузке узлов или отдельных компонентов (например, сетевых интерфейсов). В тех случаях, когда антиспам является отдельной программной сущностью, которая не устанавливается на операционную систему и используется совместно с почтовым сервером, сбои приводят лишь к прекращению поступления внешней почтовой корреспонденции или ее ощутимому замедлению. Если антиспам «делит» ОС с почтовым сервером, то такие сбои приведут к полному прекращению функционирования почтового сервиса, что в SaaS-услугах недопустимо.

На внутреннем тестировании лучшие результаты показывают выделенные appliance или гибко масштабируемые программные продукты, например MailCleaner.

Пропускная способность отдельных узлов антиспама или всего кластера при высоких нагрузках. Учитывается скорость проверки почтовых сообщений без вложений (отправка 10 тыс. писем размером около 5 кбайт с каждого формирующего сервера) и с вложениями (5 тыс. писем с телом письма 5 кбайт и вложением 10 Мбайт типа MS Word, в котором присутствует подозрительный макрос).

При формировании плотной очереди из входящего потока сообщений можно понять, сколько времени занимают штатные проверки на спам и вирусы, как ведет себя антиспам, когда время проверки писем в очереди становится несоизмеримо больше выделенных ресурсов на их обработку.

На данном этапе фиксируются следующие метрики:

Традиционно отличные результаты в данной проверке показывают антиспам-продукты на базе Linux, к примеру ProxMox Mail Gateway.

Поведение антиспама при полной загрузке отдельных составляющих. Данный этап особенно интересен, он позволяет понять, насколько качественно сделан программный продукт и рассчитан ли он на высокую нагрузку. Каждый антиспам начинает функционировать по-своему, когда заканчивается оперативная память или вырастают задержки в сети до DNS-серверов, что может привести к получению таймаутов проверок по черным спискам. Незадокументированных особенностей может быть несколько десятков, часть из которых проявится уже в процессе эксплуатации или модернизации антиспам-инфраструктуры, так как не все можно заметить в тестовой среде. 

Насколько удобно масштабировать или резервировать антиспам-решение, если это вообще возможно. Предоставляя SaaS-сервис «виртуальный офис», важно без простоев повышать его отказоустойчивость и быстро расширять, особенно в случае перехода в облако сразу нескольких крупных клиентов с других почтовых сервисов, к примеру, Office365, почты «Яндекса», G-Suite или же просто с локальной почтовой инфраструктуры. Одномоментное увеличение почтовой инфраструктуры на несколько тысяч почтовых ящиков обычно приводит к увеличению входящих потоков электронной почты на несколько гигабит в рабочие часы и к серьезному увеличению нагрузки на антиспам. Поэтому, чтобы сервис не деградировал и продолжал стабильно оказывать услуги, необходимо иметь возможность за считанные часы нарастить производительность текущей почтовой инфраструктуры как по вертикали – добавлением аппаратных ресурсов, так и по горизонтали – посредством увеличения количества узлов для распределения нагрузки.

Какие трудозатраты повлечет за собой внедрение нового антиспама и его поддержка в дальнейшем. Какими навыками должны обладать специалисты технической поддержки, чтобы выполнять рутинные операции. Простые операции, к примеру, перенесение актуального черного списка компании, могут потребовать знаний и умения обращаться не только с широко распространенными СУБД, такими как MS SQL Server или MariaDB, но и с менее известными, такими как Firebird.

Внешнее тестирование позволяет определить качество фильтрации спама в условиях, приближенных к реальным. Для внешнего тестирования можно использовать специально зарегистрированные почтовые ящики, адреса которых заранее подписаны на различные внешние рассылки «инфоцыган». Для проведения тестов достаточно трех-пяти таких ящиков. 

Лайфхак 1. На некоторых старых почтовых ящиках сторонних сервисов, куда приходит большое количество писем в отдельную папку «Спам», можно настроить пересылку нежелательных сообщений на тестируемые электронные ящики по принципу ретрансляции. Такими простыми манипуляциями достигается устойчивый поток почтового «мусора», который в идеале должен быть отфильтрован на 100%.

Лайфхак 2. Если параллельно тестировать несколько разных антиспам-продуктов, то при помощи ретрансляции спама и подписки на одни и те же рассылки можно понять, какой продукт фильтрует лучше, а какой хуже. 

Конечно же, не стоит забывать про онлайн-сканирование уязвимостей опубликованного наружу антиспама и ручную проверку на spoofing. Если в антиспаме будут открыты «лишние» порты наружу, например SSH или RDP, то велика вероятность, что хакеры смогут взломать антиспам или устроить DDoS-атаку на почтовый сервис.

Все компании хотят иметь лучший продукт, особенно когда дело касается безопасности. Для этого разработчики затрачивают силы и средства на исследования и модернизацию сервисов. Эффективный способ выбрать оптимальный высокотехнологичный продукт и антиспам – всестороннее тестирование, что чаще по карману крупным вендорам и сервис-провайдерам, обладающим достаточным штатом и мощностями для подобных изысканий. К примеру, при проведении наших собственных параллельных исследований разных программных решений обнаружилось, что качество фильтрации такого сервиса, как SpamTitan, ничем не лучше, а в некоторых сценариях даже хуже, чем у бесплатного аналога Mailcleaner Comminity Edition. Хотя основной инструмент фильтрации обоих продуктов один и тот же – SpamAssasin, но с разной «обвязкой». А тестируя параллельно еще один платный антиспам Email Security Gateway, мы заметили, что на одних и тех же рассылках писем у последнего детектируется на 40% больше спама, чем у именитых лидеров рейтингов. 

Наличие готового экспертного заключения сервис-провайдера о качествах сервиса позволяет компаниям реализовывать корпоративные стандарты почтовых систем без оглядки на администрирование и интегрировать в них антиспам-продукты в минимальные сроки. 

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!