Спасибо большое за советы и ответы! Очень помогли!

Расскажу как в итоге все получилось, может кому-нибудь еще пригодится.

Имеется два выделенных сервера, арендованных у Selectel. Сервера объединены в приватную сеть. На каждом сервере установлен Proxmox. У каждого сервера две сетевых карты, первая с внешним IP адресом, вторая для приватной сети. На первом сервере настроен NAT средствами Proxmox, для этого создано два Linux Bridge vmbr0 и vmbr1. У vmbr0 слейвом выступает сетевая карта с внешнем IP, у vmbr1 слейвом выступает сетевая карта для приватной сети, на нее назначен внутренний IP. Этот IP будет шлюзом для виртуальных машин. На втором сервере создан один Linux Bridge vmbr1, слейвом для него выступает карта для приватной сети, на него назначен IP адрес в той же подсети, что и для первого сервера. В итоге получается, что на втором сервере создаем виртуалку, назначаем ей сетевой итерфейс vmbr1, настраиваем сеть из приватной подсети, в качестве шлюза назначаем IP адрес Linux Bridge vmbr1 первого сервера. На первом сервере делаем все тоже самое, сетевой картой выступает vmbr1. В итоге получается, что виртуалки второго сервера выходят в Интернет через NAT первого сервера и доступны друг другу по внутренним IP. Далее мы уже можем рулить правилами на iptables первого сервера, городить виртуалки с VPN и т.д. По факту даже публичный адрес на втором сервере становится не нужен, его можно вообще отключить или ограничить доступ.

1. В обязательном порядке на сервера поставил Proxmox и всю функциональность реализовывал бы только в виртуальных машинах. Так как есть приватная сеть, никаких дополнительных сложностей со взаимодействием виртуальных машин не будет. Делаем бридж на интерфейсах приватной сети и добавляем сетевые интерфейсы с этим бриджем виртуальным машинам. Они будут обращаться друг к другу напрямую.

2. На машине с терминальным сервером сделал бы отдельную виртуалку под шлюз. Все остальные виртуальные машины ходили бы в интернет через неё. В эту виртуалку прокинул бы сетевой интерфейс с внешним IP. Сами гипервизоры настроил бы только в приватной сети, чтобы они ходили в интернет тоже только через этот шлюз. Обязательно настроить автоматический запуск этой виртуальной машины.

3. На шлюзе настроил бы firewall и управлял доступом к виртуалкам и их доступом в интернет через него. На него же поставил бы Nginx для проксирования запросов к внутренним веб ресурсам.

4. Доступ к терминальному серверу реализовал бы либо с помощью Openvpn, если нужен прямой доступ через терминальный клиент, либо с помощью Guacamole, если будет достаточен такой режим работы на сервере через браузер. Настраивал бы это на шлюзе.

5. В отдельной виртуальной машине поднял бы Zabbix для мониторинга всего этого хозяйства и какую-то систему для сбора логов (ELK или Loki).

6. Если есть возможность по месту на дисках, на одном из серверов организовал бы вируталку под локальные бэкапы как самих виртуальных машин, так и сырых данных. С этой виртуалки забирал бы данные куда-то во вне. Если есть возможность поднять Proxmox Backup Server, поднял бы его для внешнего бэкапа виртуалок целиком.

• СУБД
• Терминальник
• Шлюз
• Мониторинг и логи
• Бэкап.

Раскидываются между серверами они в зависимости от ресурсов и нагрузки. Скорее всего СУБД и Мониторинг с логами это один сервер, Терминальник, Шлюз и Бэкап это второй сервер. При желании можно раздробить всё это на большее количество виртуальных машин. Мониторинг, Guacamole, Логи разнести по разным машинам. Это будет удобнее и безопаснее, но больше расходов по ресурсам и поддержке.

А если рассмотреть такой вариант: в качестве шлюза использовать CHR от MikroTik установленный на отдельную ВМ и с помощью нее уже настраивать взаимодействие вм через бриджи между собой и с внешней сетью?