Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.721
Tengo que implementar un servicio que analice logs de aplicaciones y servicios en Linux.

Hasta hace un tiempo, tenía los servidores de base de datos Oracle y Weblogic enganchados a una suite propia de Oracle para monitoreo (Oracle Cloud Control). Era la cumbia pero llegaron servidores de otros sabores y ahí la solución de Oracle no me sirve sin pagar extra.

Me puse a cachurear y encontré Graylog. Creo que anda bien y lo voy a revisar pero me gustaría saber si tienen experiencias en otros sistemas analizadores de logs.



Lo voy a usar para

logs de Oracle (el alert.log)
logs de wildfly (es la rama community de jboss)
logs de Weblogic

y ya que estamos en esta, el messages de linux.


Gracias
 

Harima

Pegao al tarro
Se incorporó
15 Mayo 2008
Mensajes
3.920
Ojito ahí que graylog esta sobre un elastic así que dependiendo la cantidad de logs se te puede ir a la B rapidito.
Por defecto creo que guarda como 20 días así que debes configurar la cantidad de días que quieres que guarde.
Los logs se mandan con el nombre de maquina así que debes tener bien configurado el nombre de maquina para hacer las búsquedas o te deja todo con 127.0.0.1.
Si te quieres poner pesado, también puedes hacer que el bash registre todos los comandos de los usuarios, así sabes quien se mando un condoro.
 
Upvote 0

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.721
Ojito ahí que graylog esta sobre un elastic así que dependiendo la cantidad de logs se te puede ir a la B rapidito.
Por defecto creo que guarda como 20 días así que debes configurar la cantidad de días que quieres que guarde.
Los logs se mandan con el nombre de maquina así que debes tener bien configurado el nombre de maquina para hacer las búsquedas o te deja todo con 127.0.0.1.
Si te quieres poner pesado, también puedes hacer que el bash registre todos los comandos de los usuarios, así sabes quien se mando un condoro.

Me basta con 7 días no más. Lo único que necesito es que un analizador de logs lea los logs y me envíe un correo cuando detecte un string en particular.
 
Upvote 0

chertsey

Pro
Se incorporó
25 Julio 2006
Mensajes
513
Graylog es bueno, pero es su paja configurar los extractores.. para logs ya formateados te recomiendo el stack de elastic. El apm funciona excelente y si habilitas los diferentes beats puedes generar correlación de eventos en forma sencilla.


Para evitar que el cluster elastic se te vaya a la b, simplemente generaras planes de rolling y agrandas en la cantidad de nodos que desees. Como dato, no se recomienda mas de 64gb de ram por nodo elastic.
 
Upvote 0

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.721
Graylog es bueno, pero es su paja configurar los extractores.. para logs ya formateados te recomiendo el stack de elastic. El apm funciona excelente y si habilitas los diferentes beats puedes generar correlación de eventos en forma sencilla.


Para evitar que el cluster elastic se te vaya a la b, simplemente generaras planes de rolling y agrandas en la cantidad de nodos que desees. Como dato, no se recomienda mas de 64gb de ram por nodo elastic.

¿Ese es un servicio en la nube?
 
Upvote 0

chertsey

Pro
Se incorporó
25 Julio 2006
Mensajes
513
Puedes instalarlo local gratis sin la licencia de machine learning.

Ahora si estas en modo rata, puedes usar el fork de amazon opendistro for elasticsearch, que trae machine learning, alertas y seguridad extra todo gratis.

 
Upvote 0

Amenadiel

Ille qui nos omnes servabit
Fundador
OVERLORD
REPORTERO
Se incorporó
15 Enero 2004
Mensajes
18.398
"Gratis" como en "con el batazo que te espera por levantar nodos m6.x2large me conformo"



Enviado desde mi HMA-L29 mediante Tapatalk
 
Upvote 0

chertsey

Pro
Se incorporó
25 Julio 2006
Mensajes
513
"Gratis" como en "con el batazo que te espera por levantar nodos m6.x2large me conformo"

Por eso me refería a instalación local y no mencioné el servicio elastic cloud managed....


Y las distintas licencias
open source (gratis)
basic (gratis)
gold/premiun (pagadas)

 
Upvote 0

Tbon

How 'bout a little music?
Miembro del Equipo
Fundador
ADMIN
Se incorporó
20 Enero 2004
Mensajes
13.612
Por aca usamos Splunk, es gratis hasta los 500mb (splunk light), tendrias que evaluar cuanto volumen tienes para ver si te sirve y no tener que pagar licencia.
 
Upvote 0

unreal4u

I solve problems.
Miembro del Equipo
ADMIN
Se incorporó
2 Octubre 2005
Mensajes
13.442
Ojito ahí que graylog esta sobre un elastic así que dependiendo la cantidad de logs se te puede ir a la B rapidito.
Por defecto creo que guarda como 20 días así que debes configurar la cantidad de días que quieres que guarde.
Los logs se mandan con el nombre de maquina así que debes tener bien configurado el nombre de maquina para hacer las búsquedas o te deja todo con 127.0.0.1.
Si te quieres poner pesado, también puedes hacer que el bash registre todos los comandos de los usuarios, así sabes quien se mando un condoro.

No he trabajado con Graylog, pero sí con ElasticSearch y dp de haber trabajado con él, tengo que decir que depende de cómo lo configures. Un solo nodo aguanta poco, pero la gracia de ES es que crece tanto vertical como horizontalmente, una vez que hagas eso, puedes crecer como se te de la gana.

Eso sí, requiere investigar un poco antes de tirarle todo lo que se te ocurra: es mejor invertir un poco de tiempo en el setup inicial (en la horizontal), ya que esa capa será la más jodida de traspasar una vez que no rinda más. La vertical en cambio siempre puedes ir creciendo y asignando on-demand si quieres, pero la base no es tan fácil de armar.

Saludos.
 
Upvote 0

Harima

Pegao al tarro
Se incorporó
15 Mayo 2008
Mensajes
3.920
No he trabajado con Graylog, pero sí con ElasticSearch y dp de haber trabajado con él, tengo que decir que depende de cómo lo configures. Un solo nodo aguanta poco, pero la gracia de ES es que crece tanto vertical como horizontalmente, una vez que hagas eso, puedes crecer como se te de la gana.

Eso sí, requiere investigar un poco antes de tirarle todo lo que se te ocurra: es mejor invertir un poco de tiempo en el setup inicial (en la horizontal), ya que esa capa será la más jodida de traspasar una vez que no rinda más. La vertical en cambio siempre puedes ir creciendo y asignando on-demand si quieres, pero la base no es tan fácil de armar.

Saludos.

Por eso puse que ojito ahí, porque Graylog no trabaja sólito, lo hace sobre MongoDb y ElasticSearch, el segundo se lleva la carga, entonces si no sabes administrar un elastic y necesitas analizar mucha info te vas a la B.
Pero por ejemplo si quieres mantener harto log y harto tiempo, te creas un cluster de unas 6 maquinas (2 proxy, 2 data, 2 almacén) en sites distintos con un load balancer o un HA y quedai listo con la alta disponibilidad y aguantando como un campeón.
El punto es que no solo debes preocuparte del graylog que funcione sino que tambien del mongo y principalmente el elasticsearch.
 
Upvote 0
Subir