Home » Linux » CentOS » Блокировка доступа к web серверу по странам с помощью iptables

Блокировка доступа к web серверу по странам с помощью iptables

Однажды мне понадобилось ограничить доступ к серверу по ip на основе стран. Я решил это сделать после того, как на этот сайт началось непонятное мне нашествие ботов. Шли они со всего мира и создавали хоть и не существенную, но нагрузку на сервер. Из спортивного интереса хотел их отсечь и искал средства, чтобы сделать это максимально эффективно. Ниже расскажу, как я в итоге настроил ограничение доступа к своему веб серверу на основе списка ip по странам.

Онлайн-курс по устройству компьютерных сетей

На углубленном курсе "Архитектура современных компьютерных сетей" вы с нуля научитесь работать с Wireshark и «под микроскопом» изучите работу сетевых протоколов. На протяжении курса надо будет выполнить более пятидесяти лабораторных работ в Wireshark.

Введение

Я заметил подозрительную активность на сайте. Заходили какие-то боты, немного скролили и тыкали по ссылкам. Кто и зачем направил их на мой сайт мне было не понятно. Ничего плохого, по сути, они не делали, просто нарушали подсчет статистики, искажая реальную картину. Я быстро прикинул по статистике сайта, с каких стран в основном ко мне заходят люди. В моем случае это страны СНГ и немного заграницы. Боты же лезли со всего мира. Было принято решение временно закрыть доступ к сайту для всех стран, кроме самых популярных, с которых приходит около 95-98% пользователей. Забегаю вперед скажу, что это дало очень хороший результат, отсеяв почти всех нежелательных посетителей.

Есть разные способы решить данную задачу. Наиболее простой и популярный - воспользоваться модулем для nginx - http_geoip_module. Не стал его реализовывать по 2-м причинам:

  1. По-умолчанию, этот модуль не включен в сборку, необходимо собирать веб сервер заново.
  2. Nginx быстрый сервер, успешно справляется с высокими нагрузками, но все же мне казалось более правильно отсечь все лишнее еще на подходах к серверу.

В итоге решил блокировать ботов с помощью iptables. Если у вас он не настроен, можете воспользоваться моей статьей - настройка iptables. Первое, что пришло в голову, это вручную добавить полный список ip адресов конкретной страны. Эта информация без проблем ищется в интернете, например вот тут - http://ipdeny.com/ipblocks/. Я взял список адресов одной страны и загнал его в свой скрипт для iptables, о котором рассказано в моей статье.

Запуск скрипта с добавленным списком огромного количество ip адресов и диапазонов длился секунд 10. Сейчас уже точно не помню, какую страну взял, если не ошибаюсь, то список был на несколько тысяч строк. Я понял, что так дело не пойдет, но все же решил попробовать добавить еще одну страну. После запуска скрипта сервер просто завис. Перестал отвечать на запросы, по ssh меня отключило. Пошел в консоль и перезагрузил сервер.

Я понял, что просто в лоб нельзя в iptables загнать большие списки. Стал искать другой способ, как реализовать ограничение доступа к серверу на основе большого списка правил. Решение было найдено - ipset. Официальная страница проекта - http://ipset.netfilter.org/. Ipset представляет из себя модуль ядра и утилиту для настройки, поэтому работает все быстро и переваривает огромные списки правил. В iptables при этом добавляется только одно правило.

Дальше я расскажу, как установить и настроить ipset. Работать будем на сервере CentOS 7. В других дистрибутивах никаких отличий не будет, за исключением установки и запуска модуля ядра.

Установка ipset

Для установки ничего особенного не требуется. Устанавливаем ipset стандартным образом через yum.

# yum install ipset

Этого достаточно, можно приступать к настройке списка блокировки по странам.

Настройка блокировки доступа к сайту по странам

Дальше можно пойти двумя путями:

  1. Блокировать доступ определенным странам.
  2. Разрешить доступ списку стран, а от остальных закрыться.

Сначала я пошел по первому пути и стал вычислять страны, с которых приходит больше всего ботов и блокировать их. Потом я понял, что это не очень эффективно с точки зрения затраты времени. Список подходящих мне стран гораздо меньше, чем список нежелательных. Так что я пошел по другому пути и запретил доступ всем, кроме некоторых стран. Я расскажу дальше для примера оба способа. Технически они ничем не отличаются, просто разный подход.

Итак, у нас есть список ip адресов и подсетей, разделенных по странам. Списки очень большие, руками их обрабатывать не получится. Мы это дело автоматизируем, а пока пройдемся по теории. Разберемся с управлением списками в ipset. Для начала создадим список и назовем его - blacklist.

# ipset -N blacklist nethash

Этой командой я создал список blacklist типа nethash. Строго говоря, я создаю не список, а набор данных типа nethash. В данном случае это набор данных адресов подсетей. Именно в виде набора подсетей выглядят списки доступа стран по ip. Если у вас есть список ip адресов, то тип данных будет iphash. Более подробно о типах данных можно посмотреть в документации.

Добавим в наш список несколько подсетей.

# ipset -A blacklist 5.43.240.0/21
# ipset -A blacklist 5.100.64.0/18
# ipset -A blacklist 5.159.112.0/21

Посмотрим содержимое списка blacklist.

# ipset -L blacklist

Name: blacklist
Type: hash:net
Revision: 3
Header: family inet hashsize 1024 maxelem 65536
Size in memory: 16880
References: 0
Members:
5.100.64.0/18
5.43.240.0/21
5.159.112.0/21

Обращаю внимание на выделенные строки. Когда я создавал список стран для блокировки, он получился очень большой и не помещался весь в объект с дефолтными настройками. Их можно изменить таким образом:

# ipset create blacklist nethash hashsize 16348 maxelem 131072

Проверяем:

# ipset -L blacklist

Header: family inet hashsize 16384 maxelem 131072
Size in memory: 262544

Обратите внимание на занимаемую память. На маленьком VPS это может стать проблемой. В том числе из этих соображений я решил перейти к белому списку. Он существенно меньше, соответственно, меньше ресурсов тратится на его обработку.

Список мы создали, теперь его надо подключить в iptables. Для этого добавляем правило блокировки.

# iptables -A INPUT -m set --match-set blacklist src -j DROP

Смотрим, что получилось в правилах:

# iptables -L INPUT -v -n

Блокировка в iptables по списку IP стран

Все в порядке, правило добавили. Следите, чтобы запрещающее правило было первым и лишние подключения отваливались сразу. Давайте теперь на примере посмотрим, как организовать белый список. Создаем сам список.

# ipset -N whitelist nethash

Добавляем в него подсети.

# ipset -A whitelist 6.43.240.0/21
# ipset -A whitelist 7.100.64.0/18
# ipset -A whitelist 8.159.112.0/21

Создаем правило в iptables, по которому к нашему серверу будут иметь доступ только адреса из списка. Сначала у меня стояли вот эти два правила, которые разрешают доступ к веб серверу всем.

iptables -A INPUT -i $WAN -p tcp --dport 80 -j ACCEPT
iptables -A INPUT -i $WAN -p tcp --dport 443 -j ACCEPT

Я их изменил на следующие.

iptables -A INPUT -i $WAN -m set --match-set whitenet src -p tcp --dport 80 -j ACCEPT
iptables -A INPUT -i $WAN -m set --match-set whitenet src -p tcp --dport 443 -j ACCEPT
Не забывайте важный момент - чтобы у вас белый список работал, у вас должен весь трафик, который не разрешен явно, блокироваться. Подробнее о настройке iptables читайте мою статью, о которой я говорил ранее.

Принцип работы ipset рассмотрели. Теперь автоматизируем все и создадим полный список ip адресов по странам, которым будет разрешен доступ к сайту. Я для этого написал простенький скрипт. Привожу его с комментариями.

#!/bin/bash

# Удаляем список, если он уже есть
ipset -X whitelist
# Создаем новый список
ipset -N whitelist nethash

# Скачиваем файлы тех стран, что нас интересуют и сразу объединяем в единый список
wget -O netwhite http://www.ipdeny.com/ipblocks/data/countries/{ru,ua,kz,by,uz,md,kg,de,am,az,ge,ee,tj,lv}.zone

echo -n "Загружаем белый список в IPSET..."
# Читаем список сетей и построчно добавляем в ipset
list=$(cat netwhite)
for ipnet in $list
 do
 ipset -A whitelist $ipnet
 done
echo "Завершено"
# Выгружаем созданный список в файл для проверки состава
ipset -L whitelist > w-export

Запускаете скрипт, он скачивает и объединяет списки нужных вам стран, затем добавляет их в ipnet и в конце делает экспорт в файл. Посмотрите на этот файл. Список в нем должен совпадать с исходным списком, плюс несколько информационных строк в самом начале. На этом все. Если вы добавили правила в iptables, ограничение доступа по ip уже начало работать.

Заключение

Я проверил на своем сайте. Способ простой и очень эффективный. Все лишние боты отваливаются на моменте подключения к серверу. Не нагружают сервер и не портят статистику. Если кто-то знает еще эффективные способы борьбы с нежелательными посетителями, прошу поделиться в комментариях. Когда нашествие ботов прекратилось, запреты убрал.

Этот способ хорош только как временная мера. Постоянно его нельзя использовать, так как часть пользователей все же не сможет попасть к вам на сайт. Но если у вас какой-то специфичный сервис, к которому точно не нужен доступ, к примеру, из Китая, можете воспользоваться описанным мной методом.

Полезную информацию по защите сайта от ботов можно посмотреть в моих статьях на тему настройки fail2ban:

Углубленный онлайн-курс по MikroTik.

Научиться настраивать MikroTik с нуля или систематизировать уже имеющиеся знания можно на углубленном онлайн-курcе по администрированию MikroTik. Автор курcа – сертифицированный тренер MikroTik Дмитрий Скоромнов. Более 40 лабораторных работ по которым дается обратная связь. В три раза больше информации, чем в MTCNA.

Помогла статья? Подписывайся на telegram канал автора

Анонсы всех статей, плюс много другой полезной и интересной информации, которая не попадает на сайт.

Автор Zerox

Владимир, системный администратор, автор сайта. Люблю настраивать сервера, изучать что-то новое, делиться знаниями, писать интересные и полезные статьи. Открыт к диалогу и сотрудничеству. Если вам интересно узнать обо мне побольше, то можете послушать интервью. Запись на моем канале - https://t.me/srv_admin/425 или на сайте в контактах.

18 комментариев

  1. вот ещё ошибка:
    iptables v1.8.7 (nf_tables): Set whitenet doesn't exist.

  2. # ipset create blacklist nethash hashsize 16348 maxelem 131072
    получаю:
    ipset v7.11: Set cannot be created: set with the same name already exists

  3. Подскажите очень жду

    iptables -A INPUT -m set --match-set blacklist src -j DROP
    iptables v1.8.2 (nf_tables): Set blacklist doesn't exist.

    Try `iptables -h' or 'iptables --help' for more information.

    • Разобрался будет так
      ---------------------------------
      ipset create blacklist hash:ip

      ipset add blacklist 223.0.0.0/8
      ipset add blacklist 222.0.0.0/8
      ipset add blacklist 221.0.0.0/8
      ipset add blacklist 220.0.0.0/8
      ipset add blacklist 219.0.0.0/8
      ipset add blacklist 218.0.0.0/8
      ipset add blacklist 212.129.50.0/24
      ipset add blacklist 211.0.0.0/8
      ipset add blacklist 210.0.0.0/8
      ipset add blacklist 209.126.96.0/24
      ipset add blacklist 203.0.0.0/8
      ipset add blacklist 202.0.0.0/8
      ipset add blacklist 201.0.0.0/8
      ipset add blacklist 200.0.0.0/8
      ipset add blacklist 198.0.0.0/8
      ipset add blacklist 197.0.0.0/8
      ipset add blacklist 196.0.0.0/8
      ipset add blacklist 195.158.128.0/24
      ipset add blacklist 195.154.146.0/24
      ipset add blacklist 195.154.214.0/24
      ipset add blacklist 192.228.100.0/24
      ipset add blacklist 191.0.0.0/8
      ipset add blacklist 190.0.0.0/8
      ipset add blacklist 189.0.0.0/8
      ipset add blacklist 188.227.170.0/24
      ipset add blacklist 188.214.128.0/24
      ipset add blacklist 187.0.0.0/8
      ipset add blacklist 186.0.0.0/8
      ipset add blacklist 185.107.94.0/24
      ipset add blacklist 185.53.88.0/24
      ipset add blacklist 183.0.0.0/8
      ipset add blacklist 182.0.0.0/8
      ipset add blacklist 181.0.0.0/8
      ipset add blacklist 180.0.0.0/8
      ipset add blacklist 179.0.0.0/8
      ipset add blacklist 177.0.0.0/8
      ipset add blacklist 175.0.0.0/8
      ipset add blacklist 171.0.0.0/8
      ipset add blacklist 163.0.0.0/8
      ipset add blacklist 162.144.83.0/24
      ipset add blacklist 156.96.150.0/24
      ipset add blacklist 154.0.0.0/8
      ipset add blacklist 153.0.0.0/8
      ipset add blacklist 150.0.0.0/8
      ipset add blacklist 133.0.0.0/8
      ipset add blacklist 126.0.0.0/8
      ipset add blacklist 125.0.0.0/8
      ipset add blacklist 124.0.0.0/8
      ipset add blacklist 123.0.0.0/8
      ipset add blacklist 122.0.0.0/8
      ipset add blacklist 121.0.0.0/8
      ipset add blacklist 120.0.0.0/8
      ipset add blacklist 119.0.0.0/8
      ipset add blacklist 118.0.0.0/8
      ipset add blacklist 117.0.0.0/8
      ipset add blacklist 116.0.0.0/8
      ipset add blacklist 115.0.0.0/8
      ipset add blacklist 114.0.0.0/8
      ipset add blacklist 113.0.0.0/8
      ipset add blacklist 112.0.0.0/8
      ipset add blacklist 111.0.0.0/8
      ipset add blacklist 110.0.0.0/8
      ipset add blacklist 107.150.32.0/24
      ipset add blacklist 106.0.0.0/8
      ipset add blacklist 105.0.0.0/8
      ipset add blacklist 103.0.0.0/8
      ipset add blacklist 102.0.0.0/8
      ipset add blacklist 101.0.0.0/8
      ipset add blacklist 94.26.121.0/24
      ipset add blacklist 89.163.224.0/24
      ipset add blacklist 88.150.253.0/24
      ipset add blacklist 85.25.235.245
      ipset add blacklist 85.25.220.0/24
      ipset add blacklist 85.25.216.0/24
      ipset add blacklist 85.25.213.0/24
      ipset add blacklist 85.25.214.0/24
      ipset add blacklist 80.84.55.0/24
      ipset add blacklist 77.247.109.0/24
      ipset add blacklist 77.247.110.0/24
      ipset add blacklist 74.208.101.0/24
      ipset add blacklist 74.208.0.0/16
      ipset add blacklist 63.141.248.0/24
      ipset add blacklist 62.210.0.0/16
      ipset add blacklist 54.38.152.0/24
      ipset add blacklist 49.0.0.0/8
      ipset add blacklist 46.166.142.0/24
      ipset add blacklist 46.166.187.0/24
      ipset add blacklist 45.143.220.0/24
      ipset add blacklist 45.0.0.0/8
      ipset add blacklist 37.75.208.0/24
      ipset add blacklist 37.49.231.0/24
      ipset add blacklist 37.49.230.0/24
      ipset add blacklist 37.49.229.0/24
      ipset add blacklist 37.49.0.0/16
      ipset add blacklist 37.8.13.0/24
      ipset add blacklist 35.0.0.0/8
      ipset add blacklist 34.0.0.0/8
      ipset add blacklist 33.0.0.0/8
      ipset add blacklist 30.0.0.0/8
      ipset add blacklist 23.0.0.0/8
      ipset add blacklist 12.0.0.0/8
      ipset add blacklist 1.0.0.0/8

      iptables -I INPUT -m set --match-set blacklist src -j DROP

  4. У меня спам-каментов по 400—500 в день. Но блог не на Вордпрессе, а на Эгее — на движке лишённом собственных инструментов борьбы со спамом. Centos 7. Какой способ подойдёт мне? Спасибо.

    • Я не знаю, не знаком с этим движком. Такие вещи нужно решать на уровне самого движка.

  5. А почему не пойти проще и не использовать GeoIP в связки xtables-addons

    • Не слышал о таком, но спасибо за информацию, я посмотрю. Тут главный вопрос будет к быстродействию и занимаемым ресурсам. При блокировке по странам вопрос именно в этом, так как список IP получается огромный и в чистом виде iptables не может с ним нормально работать. Я использовал популярное и проверенное решение Ipset, которое гарантированно работает быстро и не занимает много ресурсов.

  6. Не подскажите, как быть, после перезагрузки сервера, приходится заново запускать скрипт создания списка, иначе ipables начинает ругаться, в скрипт вставить выполнение скрипта с созданием списка адресов ipset? или лучше отдельно при запуске системы сделать, просто не очень удобно. Если вставить скрипт в скрипт долго ждать, пока создаст список адресов, а потом правила фаэрвола применяться.

    • Алексей

      Отвечу. Пускай будет здесь.
      По-умолчанию, CentOS 7 при загрузке не загрузит пользовательские ipset-ы, и вместо восстановления iptables вы получите открытый firewall!
      Я вышел путем создания службы ipset, которая будет стартовать ДО iptables.
      Источник: https://github.com/BroHui/systemd-ipset-service

  7. whitenet на whitelist кажется нужно поменять?

    • Василий

      Тоже обратил внимание, но ещё не пробовал. Подскажите как оно правильно?

    • Владимир

      Увидел этот нюанс и решил сразу ставить whitelist. Все работает. Тестировал через впн.

  8. Константин

    Как всегда отличная статья, но хотелось бы этот же вариант увидеть в применения к firewalld (Centos7), хотя бы через костыли

    • Тут и без костылей все работать будет. Это же штатные правила для iptables. Я firewalld не использую, поэтому не знаю синтаксис написания правил. Надо просто посмотреть документацию. Гугл тут же выдал ответ - http://www.firewalld.org/2015/12/ipset-support
      Firewalld умеет сам управлять списками ipset. Можно прям через него их создавать и редактировать. Хотя конкретно в данном случае это не нужно, так как список создает скрипт.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Нажимая кнопку "Отправить комментарий" Я даю согласие на обработку персональных данных.
Используешь Telegram? Подпишись на канал автора →
This is default text for notification bar