Так все правильно. Вы ставите базу именно командой:

apt install mariadb-server

Без нее базы не будет, поэтому и ошибка

-bash: mysql_secure_installation: command not found

Mariadb просто не установлена.

Сейчас посмотрел свою инструкцию - https://serveradmin.ru/ustanovka-i-nastrojka-zabbix-5-0/#Ustanovka_servera_Zabbix_5_v_Ubuntu_Debian Я там не ставлю отдельно mysql сервер. Не знаю, что это, ошибка, или нет. Возможно он раньше был в зависимостях и ставился автоматически, а теперь перестал. Надо будет проверять заново.

да помогло apt install mariadb-server, но,

разве apt install zabbix-server-mysql не должен поставить базу?

root@zabbix:~# apt install zabbix-server-mysql
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following additional packages will be installed:
fping libaio1 libconfig-inifiles-perl libcurl4 libdbd-mysql-perl libdbi-perl
libevent-2.1-6 libltdl7 libmariadb3 libodbc1 libopenipmi0 libreadline5
libsensors-config libsensors5 libsnappy1v5 libsnmp-base libsnmp30
libterm-readkey-perl mariadb-client-10.3 mariadb-client-core-10.3
mariadb-common mysql-common snmpd
Suggested packages:
libclone-perl libmldbm-perl libnet-daemon-perl libsql-statement-perl
libmyodbc odbc-postgresql tdsodbc unixodbc-bin lm-sensors
snmp-mibs-downloader snmptrapd zabbix-frontend-php virtual-mysql-server
The following NEW packages will be installed:
fping libaio1 libconfig-inifiles-perl libcurl4 libdbd-mysql-perl libdbi-perl
libevent-2.1-6 libltdl7 libmariadb3 libodbc1 libopenipmi0 libreadline5
libsensors-config libsensors5 libsnappy1v5 libsnmp-base libsnmp30
libterm-readkey-perl mariadb-client-10.3 mariadb-client-core-10.3
mariadb-common mysql-common snmpd zabbix-server-mysql
0 upgraded, 24 newly installed, 0 to remove and 0 not upgraded.
Need to get 16.7 MB of archives.
After this operation, 72.6 MB of additional disk space will be used.
Do you want to continue? [Y/n]

после установки:

root@zabbix:~# mariadb -V
mariadb Ver 15.1 Distrib 10.3.23-MariaDB, for debian-linux-gnu (x86_64) using readline 5.2
root@zabbix:~# mysql -V
mysql Ver 15.1 Distrib 10.3.23-MariaDB, for debian-linux-gnu (x86_64) using readline 5.2
root@zabbix:~# mysql_secure_installation
-bash: mysql_secure_installation: command not found
root@zabbix:~# mysql -u root -p
Enter password:
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (2)
root@zabbix:~#

по моему он ставит клиента если я не ошибаюсь

разница между двумя командами при установке на чистую систему

apt install mariadb-server

The following additional packages will be installed:
galera-3 gawk libaio1 libcgi-fast-perl libcgi-pm-perl libconfig-inifiles-perl libdbd-mysql-perl libdbi-perl libencode-locale-perl libfcgi-perl
libhtml-parser-perl libhtml-tagset-perl libhtml-template-perl libhttp-date-perl libhttp-message-perl libio-html-perl liblwp-mediatypes-perl
libmariadb3 libmpfr6 libreadline5 libsigsegv2 libsnappy1v5 libterm-readkey-perl libtimedate-perl liburi-perl mariadb-client-10.3
mariadb-client-core-10.3 mariadb-common mariadb-server-10.3 mariadb-server-core-10.3 mysql-common psmisc rsync socat
Suggested packages:
gawk-doc libclone-perl libmldbm-perl libnet-daemon-perl libsql-statement-perl libdata-dump-perl libipc-sharedcache-perl libwww-perl mailx
mariadb-test netcat-openbsd tinyca
The following NEW packages will be installed:
galera-3 gawk libaio1 libcgi-fast-perl libcgi-pm-perl libconfig-inifiles-perl libdbd-mysql-perl libdbi-perl libencode-locale-perl libfcgi-perl
libhtml-parser-perl libhtml-tagset-perl libhtml-template-perl libhttp-date-perl libhttp-message-perl libio-html-perl liblwp-mediatypes-perl
libmariadb3 libmpfr6 libreadline5 libsigsegv2 libsnappy1v5 libterm-readkey-perl libtimedate-perl liburi-perl mariadb-client-10.3
mariadb-client-core-10.3 mariadb-common mariadb-server mariadb-server-10.3 mariadb-server-core-10.3 mysql-common psmisc rsync socat

apt install zabbix-server-mysql

The following additional packages will be installed:
fping libaio1 libconfig-inifiles-perl libcurl4 libdbd-mysql-perl libdbi-perl libevent-2.1-6 libltdl7 libmariadb3 libodbc1 libopenipmi0
libreadline5 libsensors-config libsensors5 libsnappy1v5 libsnmp-base libsnmp30 libterm-readkey-perl mariadb-client-10.3 mariadb-client-core-10.3
mariadb-common mysql-common snmpd
Suggested packages:
libclone-perl libmldbm-perl libnet-daemon-perl libsql-statement-perl libmyodbc odbc-postgresql tdsodbc unixodbc-bin lm-sensors
snmp-mibs-downloader snmptrapd zabbix-frontend-php virtual-mysql-server
The following NEW packages will be installed:
fping libaio1 libconfig-inifiles-perl libcurl4 libdbd-mysql-perl libdbi-perl libevent-2.1-6 libltdl7 libmariadb3 libodbc1 libopenipmi0
libreadline5 libsensors-config libsensors5 libsnappy1v5 libsnmp-base libsnmp30 libterm-readkey-perl mariadb-client-10.3 mariadb-client-core-10.3
mariadb-common mysql-common snmpd zabbix-server-mysql

ради интереса попробовал 4 версию zabbix-а

root@zabbix:~# apt install zabbix-server-mysql
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following additional packages will be installed:
fping galera-3 gawk libaio1 libcgi-fast-perl libcgi-pm-perl libconfig-inifiles-perl libcurl4 libdbd-mysql-perl libdbi-perl libencode-locale-perl libevent-2.1-6 libfcgi-perl libhtml-parser-perl libhtml-tagset-perl libhtml-template-perl libhttp-date-perl libhttp-message-perl libio-html-perl libltdl7
liblwp-mediatypes-perl libmariadb3 libmpfr6 libodbc1 libopenipmi0 libreadline5 libsensors-config libsensors5 libsigsegv2 libsnappy1v5 libsnmp-base libsnmp30 libterm-readkey-perl libtimedate-perl liburi-perl mariadb-client-10.3 mariadb-client-core-10.3 mariadb-common mariadb-server-10.3 mariadb-server-core-10.3
mysql-common psmisc rsync snmpd socat
Suggested packages:
gawk-doc libclone-perl libmldbm-perl libnet-daemon-perl libsql-statement-perl libdata-dump-perl libipc-sharedcache-perl libmyodbc odbc-postgresql tdsodbc unixodbc-bin lm-sensors snmp-mibs-downloader libwww-perl mailx mariadb-test netcat-openbsd tinyca snmptrapd zabbix-frontend-php
The following NEW packages will be installed:
fping galera-3 gawk libaio1 libcgi-fast-perl libcgi-pm-perl libconfig-inifiles-perl libcurl4 libdbd-mysql-perl libdbi-perl libencode-locale-perl libevent-2.1-6 libfcgi-perl libhtml-parser-perl libhtml-tagset-perl libhtml-template-perl libhttp-date-perl libhttp-message-perl libio-html-perl libltdl7
liblwp-mediatypes-perl libmariadb3 libmpfr6 libodbc1 libopenipmi0 libreadline5 libsensors-config libsensors5 libsigsegv2 libsnappy1v5 libsnmp-base libsnmp30 libterm-readkey-perl libtimedate-perl liburi-perl mariadb-client-10.3 mariadb-client-core-10.3 mariadb-common mariadb-server-10.3 mariadb-server-core-10.3
mysql-common psmisc rsync snmpd socat zabbix-server-mysql
0 upgraded, 46 newly installed, 0 to remove and 0 not upgraded.
Need to get 30.3 MB of archives.
After this operation, 187 MB of additional disk space will be used.
Do you want to continue? [Y/n]

тут видно что mariadb-server ставит

Простите если что не так, я ещё не профи, возможно ошибаюсь, просто пытаюсь разобраться

От: @provodnick

разве apt install zabbix-server-mysql не должен поставить базу?

Это зависит от того, какие зависимости установлены в пакете. Если в зависимостях не стоит mysql сервер, ставиться не будет. Похоже разработчики в 5-й версии убрали эту зависимость и теперь базу надо ставить отдельно вручную.

если я не ошибаюсь пропустили create user zabbix@localhost identified by 'password'; в вашей инструкции

с вашего позволения чуть поправил

# wget https://repo.zabbix.com/zabbix/5.0/debian/pool/main/z/zabbix-release/zabbix-release_5.0-1+buster_all.deb
# dpkg -i zabbix-release_5.0-1+buster_all.deb
# apt update
# apt install mariadb-server
# apt install zabbix-server-mysql zabbix-frontend-php zabbix-nginx-conf zabbix-agent mariadb-server

# mysql_secure_installation
Remove anonymous users? [Y/n] y
Disallow root login remotely? [Y/n] y
Remove test database and access to it? [Y/n] y
Reload privilege tables now? [Y/n] y

# mysql -uroot -p
mysql> create database zabbix character set utf8 collate utf8_bin;
mysql> create user zabbix@localhost identified by 'zabbix';
mysql> grant all privileges on zabbix.* to zabbix@localhost;
mysql> flush privileges;
mysql> quit;

nano /etc/zabbix/zabbix_server.conf

DBHost=localhost (уже прописано)
DBName=zabbix (уже прописано)
DBUser=zabbix (уже прописано)
DBPassword=zabbix
Timeout=20 (править с 4 на 20 по вашей рекомендации)

дальше по вашей инструкции, + можно и ссылочку на тайм зоны добавить для удобства Https://www.php.net/manual/ru/timezones.php

Спасибо. Надо будет обновить инструкцию на днях.