logstash останавливает elasticsearch

Вопросы

Последняя запись от Zerox 2 года назад

3 Записи

2 Пользователи

0 Reactions

1,441 Просмотры

12.01.2023 15:24

Создатель темы

baskos

(@baskos)

New Member

2 Записи
1 1 0

После запуска logstash останавливается elasticsearch. Если logstash не запускать то elasticsearch и kibana работают и я захожу на веб интерфейс кибаны. Пробовал logstash начисто удалить и установить с дефолтными настройками сделал только: cp -R /etc/elasticsearch/certs /etc/logstash chown -R root:logstash /etc/logstash/certs

Результат тот же. Значит можно отбросить неправильно настроенные конфиги и фильтры так как при дефолтных настройках служба просто не выполняет никакой полезной работы но работает, а elasticsearch все равно останавливается. В чем может быть проблема? Виртуальная машина на 4 ядра 8 гиг оперативы.

Добавить комментарий

Метки темы

Logstash ELK elastic

2 Ответов

12.01.2023 18:31

Zerox

(@zerox)

Admin

Prominent Member

926 Записи
7 45 47

Надо логи смотреть. Я много раз настраивал подобную связку и никогда с таким не сталкивался. Может они один и тот же порт занимают, поэтому не могут работать одновременно?

Добавить комментарий

13.01.2023 10:42

Создатель темы

baskos

(@baskos)

New Member

2 Записи
1 1 0

[2023-01-12T15:39:37,782][INFO ][logstash.runner          ] Log4j configuration path used is:  ссылка удалена 
[2023-01-12T15:39:37,815][INFO ][logstash.runner          ] Starting Logstash {"logstash.version"=>"8.5.3", "jruby.version"=>"jruby 9.3.9.0 (2.6.8) 2022-10-24 537cd1f8bc OpenJDK 64-Bit Server VM 17.0.5+8 on 17.0.5+8 +indy +jit [x86_64-linux]"}
[2023-01-12T15:39:37,818][INFO ][logstash.runner          ] JVM bootstrap flags: [-Xms1g, -Xmx1g, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djruby.compile.invokedynamic=true, -Djruby.jit.threshold=0, -XX:+HeapDumpOnOutOfMemoryError, -Djava.security.egd=file:/dev/urandom, -Dlog4j2.isThreadContextMapInheritable=true, -Djruby.regexp.interruptible=true, -Djdk.io.File.enableADS=true, --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.management ссылка удалена ]
[2023-01-12T15:39:39,165][INFO ][logstash.config.source.local.configpathloader] No config files found in path {:path=>" ссылка удалена "}
[2023-01-12T15:39:39,172][ERROR][logstash.config.sourceloader] No configuration found in the configured sources.
[2023-01-12T15:39:39,346][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600, :ssl_enabled=>false}
[2023-01-12T15:39:39,394][INFO ][logstash.runner          ] Logstash shut down.
[2023-01-12T15:39:39,400][FATAL][org.logstash.Logstash    ] Logstash stopped processing because of an error: (SystemExit) exit
org.jruby.exceptions.SystemExit: (SystemExit) exit
	at org.jruby.RubyKernel.exit(org ссылка удалена ) ~[jruby.jar:?]
	at org.jruby.RubyKernel.exit(org ссылка удалена ) ~[jruby.jar:?]
	at usr.share.logstash.lib.bootstrap.environment.<main>( ссылка удалена ) ~[?:?]
[2023-01-12T15:39:52,838][INFO ][logstash.runner          ] Log4j configuration path used is:  ссылка удалена 
[2023-01-12T15:39:52,844][INFO ][logstash.runner          ] Starting Logstash {"logstash.version"=>"8.5.3", "jruby.version"=>"jruby 9.3.9.0 (2.6.8) 2022-10-24 537cd1f8bc OpenJDK 64-Bit Server VM 17.0.5+8 on 17.0.5+8 +indy +jit [x86_64-linux]"}
[2023-01-12T15:39:52,846][INFO ][logstash.runner          ] JVM bootstrap flags: [-Xms1g, -Xmx1g, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djruby.compile.invokedynamic=true, -Djruby.jit.threshold=0, -XX:+HeapDumpOnOutOfMemoryError, -Djava.security.egd=file:/dev/urandom, -Dlog4j2.isThreadContextMapInheritable=true, -Djruby.regexp.interruptible=true, -Djdk.io.File.enableADS=true, --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.management ссылка удалена ]
[2023-01-12T15:39:54,063][INFO ][logstash.config.source.local.configpathloader] No config files found in path {:path=>" ссылка удалена "}
[2023-01-12T15:39:54,074][ERROR][logstash.config.sourceloader] No configuration found in the configured sources.
[2023-01-12T15:39:54,192][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600, :ssl_enabled=>false}
[2023-01-12T15:39:54,251][INFO ][logstash.runner          ] Logstash shut down.
[2023-01-12T15:39:54,259][FATAL][org.logstash.Logstash    ] Logstash stopped processing because of an error: (SystemExit) exit
org.jruby.exceptions.SystemExit: (SystemExit) exit
	at org.jruby.RubyKernel.exit(org ссылка удалена ) ~[jruby.jar:?]
	at org.jruby.RubyKernel.exit(org ссылка удалена ) ~[jruby.jar:?]
	at usr.share.logstash.lib.bootstrap.environment.<main>( ссылка удалена ) ~[?:?]
[2023-01-12T15:40:07,412][INFO ][logstash.runner          ] Log4j configuration path used is:  ссылка удалена 
[2023-01-12T15:40:07,418][INFO ][logstash.runner          ] Starting Logstash {"logstash.version"=>"8.5.3", "jruby.version"=>"jruby 9.3.9.0 (2.6.8) 2022-10-24 537cd1f8bc OpenJDK 64-Bit Server VM 17.0.5+8 on 17.0.5+8 +indy +jit [x86_64-linux]"}
[2023-01-12T15:40:07,420][INFO ][logstash.runner          ] JVM bootstrap flags: [-Xms1g, -Xmx1g, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djruby.compile.invokedynamic=true, -Djruby.jit.threshold=0, -XX:+HeapDumpOnOutOfMemoryError, -Djava.security.egd=file:/dev/urandom, -Dlog4j2.isThreadContextMapInheritable=true, -Djruby.regexp.interruptible=true, -Djdk.io.File.enableADS=true, --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.management ссылка удалена ]
[2023-01-12T15:40:08,392][INFO ][logstash.config.source.local.configpathloader] No config files found in path {:path=>" ссылка удалена "}
[2023-01-12T15:40:08,397][ERROR][logstash.config.sourceloader] No configuration found in the configured sources.
[2023-01-12T15:40:08,496][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600, :ssl_enabled=>false}
[2023-01-12T15:40:08,542][INFO ][logstash.runner          ] Logstash shut down.
[2023-01-12T15:40:08,548][FATAL][org.logstash.Logstash    ] Logstash stopped processing because of an error: (SystemExit) exit
org.jruby.exceptions.SystemExit: (SystemExit) exit
	at org.jruby.RubyKernel.exit(org ссылка удалена ) ~[jruby.jar:?]
	at org.jruby.RubyKernel.exit(org ссылка удалена ) ~[jruby.jar:?]
	at usr.share.logstash.lib.bootstrap.environment.<main>( ссылка удалена ) ~[?:?]
[2023-01-12T15:40:21,546][INFO ][logstash.runner          ] Log4j configuration path used is:  ссылка удалена 
[2023-01-12T15:40:21,554][INFO ][logstash.runner          ] Starting Logstash {"logstash.version"=>"8.5.3", "jruby.version"=>"jruby 9.3.9.0 (2.6.8) 2022-10-24 537cd1f8bc OpenJDK 64-Bit Server VM 17.0.5+8 on 17.0.5+8 +indy +jit [x86_64-linux]"}
[2023-01-12T15:40:21,556][INFO ][logstash.runner          ] JVM bootstrap flags: [-Xms1g, -Xmx1g, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djruby.compile.invokedynamic=true, -Djruby.jit.threshold=0, -XX:+HeapDumpOnOutOfMemoryError, -Djava.security.egd=file:/dev/urandom, -Dlog4j2.isThreadContextMapInheritable=true, -Djruby.regexp.interruptible=true, -Djdk.io.File.enableADS=true, --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-exports=jdk.compiler ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.base ссылка удалена , --add-opens=java.management ссылка удалена ]
[2023-01-12T15:40:22,607][INFO ][logstash.config.source.local.configpathloader] No config files found in path {:path=>" ссылка удалена "}
[2023-01-12T15:40:22,613][ERROR][logstash.config.sourceloader] No configuration found in the configured sources.
[2023-01-12T15:40:22,810][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600, :ssl_enabled=>false}
[2023-01-12T15:40:22,849][INFO ][logstash.runner          ] Logstash shut down.
[2023-01-12T15:40:22,854][FATAL][org.logstash.Logstash    ] Logstash stopped processing because of an error: (SystemExit) exit
org.jruby.exceptions.SystemExit: (SystemExit) exit
	at org.jruby.RubyKernel.exit(org ссылка удалена ) ~[jruby.jar:?]
	at org.jruby.RubyKernel.exit(org ссылка удалена ) ~[jruby.jar:?]
	at usr.share.logstash.lib.bootstrap.environment.<main>( ссылка удалена ) ~[?:?]

Это logstash-plain.log.

В логе эластика ничего не отображается.

Zerox 13.01.2023 16:37

@baskos если elasticsearch останавливается после запуска logstash,то в логе elasticsearch 100% что-то должно быть. Он логирует все свои действия, в том числе запуск и остановку. Разберитесь сначала с этим. Выключите logstash, запустите elasticsearch и убедитесь, что он пишет свои логи. Потом уже по этим логам можно будет понять, почему он останавливается.

В данном логе logstash нет ничего интересного, кроме ошибки на тему того, что не настроен ни один источник для приёма логов.