Server Admin Авторский блог системного администратора
Коллеги, подскажите, что делаю не так, поставил проксмокс с официального сайта, поднял на нем убунту, поставил постгрес и 1с, все работает, но понадобилось поставить еще пару машин рядом и начались проблемы, при установке винды получил жуткие тормоза и вся установка заканчивалась на кнопке установить, начал ставить линуксовые ядра, все что декстопное вообще не встало, так же заканчивается все на выборе параметров установки и все, а сегодня попробовал серверную версию центоса, даже до выбора параметров не дошел. зафризело. Сервер 10 ядер, памяти 64г. Может кто сталкивался с такой проблемой?
А по дискам что на сервере? Может по дискам все сильно нагружено постгресом и 1С, поэтому тормозит? Сами эти приложения не тормозят?
disckwrite 898.46 в дневном пике, а так даже ниже, на запись аналогично. 1с чувствует себя хорошо, жалоб нет. Пересчитал сейчас все сервера на этой машине и понял, что количество ядер задействованных на виртуальных серверах привысило 10 штук, может в этом дело, я не совсем понимаю как проксмокс дает ядра, просто при установке выдаю ядро и 4 сокета на ядро. получается, что в работе уже 12 ядер, может это быть проблемой?
disckwrite 898.46 в дневном пике, а так даже ниже, на запись аналогично. 1с чувствует себя хорошо, жалоб нет. Пересчитал сейчас все сервера на этой машине и понял, что количество ядер задействованных на виртуальных серверах привысило 10 штук, может в этом дело, я не совсем понимаю как проксмокс дает ядра, просто при установке выдаю ядро и 4 сокета на ядро. получается, что в работе уже 12 ядер, может это быть проблемой?
Ваша проблема с "тормозами" именно в том и заключается, что Вы неправильно выставляете количество ядер и сокетов при настройке виртуальной машины!!!
Если простыми словами, то "сокет" - это место для установки процессора. От сюда имеем один "сокет" - один "физический" процессор, а в каждом "физическом" процессоре уже имеем количество ядер (2 или 4, а то 6 или все 12) согласно паспортных характеристик заявленных производителем!
1. У Вас там на серваке сколько "физических" процессоров установлено?!
2.Измените в настройках ВСЕХ Ваших виртуальных машин количество сокетов:
одна ВМ-ка=один сокет + 2 (или 4) ядра!
Вот по этому поводу у меня и были сомнения, на сервере 1 процессор на 10 ядер. На 1с я выдал 1 сокет - 6 ядер (перестарался чутка, но не знаю как 1с себя поведет если ее остановить и снять 2 ядра), виндовый сервер 4сокета - 4 ядра и пара мелких серверов на линуксах с 1 ядром и по 1-4 сокета. получается сокет должен быть один на каждом сервере? А как проксмокс поведет себя если снимать ядра и сокеты с боевых машин, особенно 1с беспокоит?
Думаю, что Вашей 1С-ке достаточно будет и 2-х ядер в том случае, если у Вас одновременно нагружают её расчётами в одну и ту же секунду не более 20 человек! Понаблюдайте за работой этой ВМ-ки (смотрите мониторинг потребления ресурсов) и уже тогда решите что Вам там не хватает: оперативки, процессорных мощностей или дисковых IOPS-сов!
В 1с одовременно где то 50 человек работает, но попробую потестить, тогда может подскажите по параметрам NUMA должен быть включен или нет, как то везде не однозначно описывают этот параметр и в дисках virtio или scsi, так же в CPU kvm64 или host? Спасибо за помощь.
тогда может подскажите по параметрам NUMA должен быть включен или нет, как то везде не однозначно описывают этот параметр...
Для начала Вам нужно понимать что это такое, поэтому ознакомтесь с этими материалами:
https://vps.ua/blog/66-about-numa/
http://onreader.mdl.ru/MasteringProxmox.2ed/content/Ch05.html
http://vasilisc.com/optimization-virtual-server
https://ivirt-it.ru/qemu-kvm-and-numa/
А дальше уже решите сами - задействовать его или нет.
может подскажите по параметрам NUMA должен быть включен или нет, как то везде не однозначно описывают этот параметр и в дисках virtio или scsi, так же в CPU kvm64 или host?
Вот здесь описаны практически все базовые опции с пояснениями на русском языке, которые используются при создании ВМ-ок:
Глава 6. Виртуальные машины KVM
http://onreader.mdl.ru/MasteringProxmox.3ed/content/Ch06.html
получается сокет должен быть один на каждом сервере?
Нет! Есть и двухпроцессорные сервера (имеют ДВА сокета) и четырехпроцессорные (четыре сокета), а есть и "блейдовые" системы, состоящие из 4-х, 8-ми и более лезвий ("блейдов"). И в каждом таком лезвии может быть как 1, так и 2, или 4, а то больше сокетов ("физических" процессоров), ну и много-много оперативки (RAM) - 100-200Гб
... на сервере 1 процессор на 10 ядер...
Если таки на Вашем сервере ОДИН "физический процессор", то "NUMA" Вам не к чему! Можете его смело отключить. Хотя ради наглядности происходящего: повышения или снижения производительности - можете также потестировать работу сервера при включенной и выключенной опции "NUMA"...
Проблем никаких не будет. Ядра можно спокойно менять - добавлять, убирать. Единственное, нужно выключать (не перезагружать) виртуальную машину и стартовать заново, чтобы изменения применились.
Получается, реально в этом проблема. Вы навыдавали очень много ядер и сокетов виртуалкам. Я всегда ставлю 1 сокет на VM. Ядер выдаю больше, чем есть реально, но обычно в сумме не превышаю реальные на 50%. Proxmox нормально распределяет нагрузку между виртуалками в таком случае, если все ядра не загружены на 100%.
Да, чтобы не быть голословным, вот тут посмотрите системные требования к "железу" для нормальной работы "1С":
https://www.nix.ru/computer_hardware_news/hardware_news_viewer.html?id=188160
Сделал распределение ядер и сокетов и попробовал создать новую виртуалку, завелась без проблем, спасибо мужчины. С 1с снял 2 из 6 ядер, понедельник покажет как она будет работать в бою, но вот ночью по крону началась выгрузка бэкапов и начались проблемы. 12 баз постгреса выгружались с 3х до 7ми утра, заббикс пищал и сыпал в телеграм ошибками с превышением нагрузок и тд, даже пинг пропадал. На шести ядрах Pigz успевал упаковать все за 30 минут.
