Linux Alguien ha trabajado con logstash/kibana/elasticsearch?

unreal4u

I solve problems.
Miembro del Equipo
ADMIN
Se incorporó
2 Octubre 2005
Mensajes
13.467
Alguien ha trabajado aquí con esa combinación de software? Yo sólo tengo experiencia con Munin pero busco algo un poco más en vivo y en directo, cosa de poder ver el incremento de errores 404 (o fatals o errores de lo que sea, ya que tb necesito mantener vigilado otros servicios) de inmediato por ejemplo luego de un release. Eso me servirá por ejemplo para cuando tenga que sincronizar los frontends, actualizo 1 frontend no más y si ese no da problemas en menos de 5 minutos, sincronizo las demás máquinas.

Actualmente como dije ocupamos munin pero yo quiero saber en menos de 1 minuto si mi acción tuvo algún efecto no deseado en los servers, y munin sólo corre en intervalos de 5. Si achico ese rango tendré problemas con los archivos y espacio en disco ya que son ya 14 servidores y este mes ya se agregan 2 más.

Lo pregunto pq según este video es como la panacea, pero tampoco quiero perder tiempo en tools que si no son lo que creo que son va a ser tiempo perdido.

Anyway, qué otras herramientas de reportes en vivo conocen/funcionan como la gente/no requiere una eternidad en configurarlos?

Saludos.
 

unreal4u

I solve problems.
Miembro del Equipo
ADMIN
Se incorporó
2 Octubre 2005
Mensajes
13.467
upale !

Lo instalé así como para probar no más pero se me olvidó que hay otro firewall en el host que me deniega la conexión, para el cual no tengo acceso :zippypozo

Así que a probar en una VM en mi máquina no más :p (Quería dejarlo corriendo por el finde).

Conclusión: todavía no tengo idea si me servirá o no, cualquier novedad reporto.

Saludos.
 
Upvote 0

unreal4u

I solve problems.
Miembro del Equipo
ADMIN
Se incorporó
2 Octubre 2005
Mensajes
13.467
Hace como unas 3 semanas que terminamos instalando (por fin) un ELK stack en la empresa... cumple su prometido, que es monitorización de sistemas y ver rápidamente trends.

Tenemos un monitor colgado en la oficina ahora donde a mi me salen por el momento las cosas que más me interesan. (Ver post de abajo).

No fue tan difícil configurarlo, en menos de 40hrs lo tenía todo listo ya.
 
Upvote 0

unreal4u

I solve problems.
Miembro del Equipo
ADMIN
Se incorporó
2 Octubre 2005
Mensajes
13.467
7b24f3f2983451f6fea1e1af9a39ebe9.jpg



Sent from my iPhone using Tapatalk
 
Upvote 0

Soujiro

Fanático
Se incorporó
14 Enero 2008
Mensajes
1.401
@unreal4u Estimado, ¿que tan grandes son tus maquinas para elasticsearch? las mias se fueron a la B con 8 GB de ram. Actualmente solo tienen logs de apache, proftp y tomcat. En estos ultimos logs derechamente no puedo buscar por falta de ram....
 
Upvote 0

Harima

Pegao al tarro
Se incorporó
15 Mayo 2008
Mensajes
3.931
@unreal4u Estimado, ¿que tan grandes son tus maquinas para elasticsearch? las mias se fueron a la B con 8 GB de ram. Actualmente solo tienen logs de apache, proftp y tomcat. En estos ultimos logs derechamente no puedo buscar por falta de ram....
hay un parámetro en el inidt.d/elasticsearch
ES_HEAP_SIZE=4g
Ese debe ser máximo la mitad de la memoria de la maquina o el Java se la come toda :uy
Y el máximo de ese parámetro son 32g más de eso el Java da caldo
 
Upvote 0

Soujiro

Fanático
Se incorporó
14 Enero 2008
Mensajes
1.401
por eso preguntaba, maquina fisica 8G, instancia elasticsearch 5G. REquiere mas ram esa cosa y/o mi index de tomcat esta "mal" seteado
 
Upvote 0

mmirandap

Gold Member
Se incorporó
1 Septiembre 2006
Mensajes
2.451
Oye que filete, hace rato que andaba buscando algo así para monitorear las maquinas y procesos que ejecutamos, es mucho webeo configurar?
 
Upvote 0

unreal4u

I solve problems.
Miembro del Equipo
ADMIN
Se incorporó
2 Octubre 2005
Mensajes
13.467
@unreal4u Estimado, ¿que tan grandes son tus maquinas para elasticsearch? las mias se fueron a la B con 8 GB de ram. Actualmente solo tienen logs de apache, proftp y tomcat. En estos ultimos logs derechamente no puedo buscar por falta de ram....

tenemos una máquina con 64GB de RAM, en la cual iniciamos 2 instancias de elasticsearch: una que va metiendo datos y la otra que lee datos.

Ambas instancias pueden llegar a ocupar 12GB de RAM, pero normalmente andan por los 3GB con piques de 8GB. El nodo más intensivo es el de la escritura que normalmente ocupa entre los 3 a 9GB de memoria. El resto de la memoria lo ocupa Kibana (máx. 1GB) y logstash (máx. 1GB). RabbitMQ también tiene nodo pero no me acuerdo de memoria cuánta ocupa, creo que 2GB. Además tiene un nginx para hacer load balancing. Con todo el uso normal de RAM está alrededor de los 30GB.

Te aconsejo poner más máquinas chicas con más nodos de elasticsearch y poner un load balancer por delante, de esa forma, ElasticSearch se va balanceando solo y es el setup recomendado por ellos. Nosotros también lo tenemos pendiente pq con una máquina más aumentamos el log de 3 semanas a (fácil) 3 meses.

Más rato te puedo dar más detalles de eso que ahora toi ocupado.

Saludos.
 
Upvote 0

Harima

Pegao al tarro
Se incorporó
15 Mayo 2008
Mensajes
3.931
por eso preguntaba, maquina fisica 8G, instancia elasticsearch 5G. REquiere mas ram esa cosa y/o mi index de tomcat esta "mal" seteado
por ejemplo una de sandbox que tenemos en Azure (Standard A3 4 Cores, 7 GiB memory) y anda bien, pero va a depender de la carga de la maquina
 
Upvote 0

unreal4u

I solve problems.
Miembro del Equipo
ADMIN
Se incorporó
2 Octubre 2005
Mensajes
13.467
Ahora con más calma: elasticsearch requiere de memoria, pero si creces de forma horizontal (AKA más nodos y de paso redundancia) en vez de vertical (asignarle más recursos por nodo) va requieriendo cada vez menos.

Ya que estás partiendo, no cometas el mismo error mío y agrégale más nodos chicos al cluster.

Esto lo vine a cachar cuando con un nodo de escritura / lectura le di 30gb de RAM y aún así no daba abasto. Lo partí en 2 nodos y en un ppio 8gb por nodo pareció suficiente hasta que me dio el aviso unas horas más tarde (en vez de minutos como con un solo nodo) que se había quedado sin ram.

Agrégale más nodos al cluster y de esa forma podrás tb ir tuneando cada instancia para lo que tiene que hacer.

A su vez con más nodos vas ganando capacidad exponencial para guardar datos.

Saludos.


Sent from my iPhone using Tapatalk
 
Upvote 0

Harima

Pegao al tarro
Se incorporó
15 Mayo 2008
Mensajes
3.931
Oye que filete, hace rato que andaba buscando algo así para monitorear las maquinas y procesos que ejecutamos, es mucho webeo configurar?
jajaja recién me pegue el alcachofaso que lo usan como sistema de monitoreo, nosotros lo usamos como BD NoSQL para el frontend de la aplicación
Usamos el modo 2-2-2 y el que se lleva la carga son los Data (Proxy y master usan poca memoria)


Elastic.png
 
Upvote 0

unreal4u

I solve problems.
Miembro del Equipo
ADMIN
Se incorporó
2 Octubre 2005
Mensajes
13.467
jajaja recién me pegue el alcachofaso que lo usan como sistema de monitoreo, nosotros lo usamos como BD NoSQL para el frontend de la aplicación
Usamos el modo 2-2-2 y el que se lleva la carga son los Data (Proxy y master usan poca memoria)


Ver adjunto 2615

jajaj tb tenemos una instancia en otro lado (supe dp) que procesa datos, pero ese es administrado por otro loco así que no cacho muy bien, se le vive cayendo si pero bueno, no es mi problema :dalomismo

Saludos.
 
Upvote 0

unreal4u

I solve problems.
Miembro del Equipo
ADMIN
Se incorporó
2 Octubre 2005
Mensajes
13.467
PD: Kibana trae un monitor de sistema integrado donde puedes ver info básica del cluster, como cuánta memoria está ocupando el cluster y esas cosas :)

Saludos.

Screenshot_2018-07-23_21-16-17.png
 
Upvote 0

Soujiro

Fanático
Se incorporó
14 Enero 2008
Mensajes
1.401
ouch o sea que el sistema es básicamente es un puto gran elefeante, o muchos elefantitos. :(

Gracias se pasaron :p
 
Última modificación:
Upvote 0

Harima

Pegao al tarro
Se incorporó
15 Mayo 2008
Mensajes
3.931
PD: Kibana trae un monitor de sistema integrado donde puedes ver info básica del cluster, como cuánta memoria está ocupando el cluster y esas cosas :)

Saludos.

Ver adjunto 2616
Entras por algún plugin especial o tendre una consola muy antigua (de echo se supone que antes de fin de año debemos cambiar a cosmosDB)
/_plugin/marvel/kibana/index.html#/dashboard/file/marvel.overview.json

Elastic.png
 
Upvote 0

unreal4u

I solve problems.
Miembro del Equipo
ADMIN
Se incorporó
2 Octubre 2005
Mensajes
13.467
Yo creo que es muy antiguo pq el soporte para skin oscuro lo sacaron creo que en la v4 y la última versión es la v6 xD

En todo caso: una vez andando, mejor ni actualizar jajajaja Esa wea de los plugins es un culo.

Saludos.
 
Upvote 0
Subir