Portada! Se quema un datacenter en Europa - no olviden los respaldos

incendio_Datacenter.jpg


Lágrimas de sysadmins al ver esta imagen.

OVH es el proveedor de hosting más grande de Europa y un top ten en el mundo y uno de sus datacenter ha quedado totalmente destruido por un incendio.

Actualmente nos enfrentamos a un importante incidente en nuestro DataCenter de Estrasburgo con un incendio declarado en el edificio SBG2. Los bomberos llegaron inmediatamente al lugar, pero no pudieron controlar el incendio en SBG2. Todo el sitio ha sido aislado, lo que afecta a todos nuestros servicios en SBG1, SBG2, SBG3 y SBG4. Si tu producción está en Estrasburgo, le recomendamos activar tu Plan de Recuperación ante Desastres. Todos nuestros equipos están totalmente movilizados junto con los bomberos. Te mantendremos actualizado a medida que haya más información disponible

Hace cuatro años 2017 la misma compañía sufrió una caída en sus servidores debido a un problema de suministro eléctrico, aunque se recuperó varias horas después. Sin embargo, este incendio definitivamente fue más desastroso porque si los clientes alojados ahí no hicieron respaldos probablemente perdieron todo.

Actualización: 464 mil dominios offline por el incendio



Muy Europa/OCDE/Primer Mundo serás, pero el incendio no pudo ser controlado por los bomberos y se llevó puesto no solo equipamiento (que es reemplazable) sino que los datos y la información que ahí se contenían, además de muchos servicios interrumpidos. ¿Alguien lloró cuando se les rompió el notebook y perdieron la tésis y las fotos porque no respaldaron? Imagínense un datacenter completo.

Cuando los hombres vemos que a otro hombre le pegan una patada en las canicas nos retorcemos igual como empatía genital, así que de igual manera no pude evitar estremecerme cuando leí la noticia con mi corazón de sysadmin así que creí necesario escribir algo al respecto.


Los ricos también lloran

OCDE, Primer Mundo, Europa, museo de louvre, gente en bicicleta pedaleando al trabajo. Muy moderno todo pero si a ellos se les quema un datacenter completo que queda para esta larga, angosta y tercer mundista franja de tierra.

Puede que implementar un sofisticado sistema de respaldo, una solución de contingencia o migrar a la nube parezca costoso, pero ese costo tienes que equipararlo a lo que le cuesta a tu institución el no brindar servicios por un largo tiempo o la pérdida de datos. Imagínense que se quedan sin correo laboral por cuatro horas, ¿cuánto dinero perdería tu institución, tu empresa? Sistema de facturación, negocios, la base de datos, etc, etc.


La importancia de los respaldos, los planes de contingencia y hacer las preguntas correctas.

Hay cursos completos de esto así que no esperen algo académico, simplemente para sensibilizar a los no expertos vamos a hacer dos preguntas.

Primera pregunta
Imagínate que haces respaldo una vez a la semana a tu servicio de correo y a tu sistema de facturación. Justo, 10 minutos antes de que se inicie el respaldo semanal SE ROMPE TODO. Ya sea porque alguien metió las patas, te hackearon, virus, lo que sea. Perderías una semana de la historia de correos y de facturación de toda tu institución.
¿Puedes tolerar perder todo eso? No, es mucho. ¿Entonces cuánto tiempo de información y datos podrías tolerar perder? ¿Dos días, un día, una hora, 15 minutos?
Hay sistemas de respaldo para cada necesidad pero tienes que considerar que un sistema que te garantice una pérdida mínima es más costoso.

Segunda pregunta.
Brindas servicio a clientes y usuarios internos por internet, ya sea sistema de correo, de facturación, un sistema propietario, lo que sea. Hay un corte de energía en tu datacenter, los sistemas de alimentación de contingencia aguantan un rato pero se terminan apagando. Nada se ha destruido y seguramente cuando vuelva la energía todos tus datos e información van a estar ahí (cero pérdida), pero dejas sin sistemas a todos tus clientes y a todo el personal de tu institución. Llamas a los técnicos y hay caos porque nadie sabe bien que pasó, así que comienzan un análisis punto por punto. Pasan los minutos, las horas y no se arregla nadie sabe por qué.
¿Cuánto tiempo podrías tolerar estár sin servicio? ¿15 minutos? ¿Una hora? ¿Un día? ¿Una semana?
Hay métodos en que automáticamente vas llevando los datos y sistemas a otro datacenter o a la misma nube, de tal manera que si falla tu datacenter principal puedes activar todo desde otro lado y seguir con los sistemas arriba. También tiene un costo pero tú debes determinar si lo vale o no.


La nube al rescate

Ahora muchos servicios y sistemas pueden llevarse a la nube con lo que te ahorras problemas domésticos como el consumo energía, mantención de servidores, espacio físico, cumplir protocolos, etc, etc, aunque antes de que corrar a contratarlo recuerda que detrás del velo de misterio la nube sigue estando alojada en un datacenter. Así es, queridos lectores, debajo de todo ese maquillaje de glamour y tecnosexualidad la nube sigue siendo un computador alojado en un datacenter de algún lugar del mundo con conexión a internet aunque los mayores proveedores de servicios en la nube tienen sus sistemas distribuidos entre datacenters, así que la destrucción de uno de sus edificios no te dejaría con los pies en la calle. De todas maneras, antes de correr a contratar un servicio en la nube pregunta si está distribuido en dos o más datacenters y la política de respaldos.
Salvo excepciones, deberías tender a llevar tus servicios a la nube.






Camaradas sysadmins, si tienen anécdotas o experiencias de caídas de servicio este es el preciso momento de compartirlas.
 
Última modificación:

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.721
Para un simple mortal, usuario de Windows 10, ¿cual sería la forma más fácil de crear respaldos en la nube? Del tipo "toma las carpetas de acá y copialas allá cada X tiempo de forma automática" y luego un "copia solo lo que haya sido modificado" (¿Incremental backups creo que le llaman?)

yo en mi notebook uso google drive y le digo que carpetas quiero que me mantenga sincronizado. Eso y windows con contraseña al inicio.
 

KarmaKanda

Miembro Regular
Se incorporó
10 Febrero 2021
Mensajes
35
Que mal dia para los locos de ese datacenter, deben estar tirandose al hoyo literalmente :zippypozo.
Por lo menos tengo algunos respaldos en diferentes lados, porciaca la malda cae en mi tarro ~ :zippyu
 

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.721
Puta que pena.
Mi tracker favorito, Argenteam.net, cayó con el incendio. :cry

 
Última modificación:

epic

Pro
Se incorporó
11 Febrero 2007
Mensajes
777
wuuuauuu pobre gente que no tenia respaldo en otro lado :S

me reí bastante con algunos post de cuando alguien se manda cagasos y borra algo ... menos mal que nunca me ha pasado :S aunque he estado cerca, típico están en 2 servidores, por ejemplo el de test y el de prod y estas haciendo cambios o eliminando y te asustas por 3 segundos porque pensaste que lo hiciste en la otra pantalla negra... son 3 segundos que sudas y solo alcanzas a decir CTM CTM CTM y luego respiras xq era el de test donde borraste por ejemplo la bd... luego dices mejor pongo esa terminal ssh en solo lectura , por siacaso :S
 

iRock

Ex reportero de CHW y FayerWayer
Se incorporó
13 Diciembre 2007
Mensajes
1.448
Hay algo que no entiendo (perdonen la ignorancia de este pobre humanista usuario de interfaces gráficas):

Si este era el proveedor de hosting número uno de Europa y uno de los diez más grandes del mundo, ¿cómo es posible que no tuvieran respaldos off-site? No me calza.

Es más: antes siquiera de llegar a la catástrofe, ¿cómo es posible que entre tantos ingenieros, especialistas y expertos llegue a producirse un incendio de esas características? ¿No habrá una mínima posibilidad de que haya sido intencional?
 

javiernico

cmos burner
Miembro del Equipo
MOD
Se incorporó
1 Junio 2006
Mensajes
4.261
Hay algo que no entiendo (perdonen la ignorancia de este pobre humanista usuario de interfaces gráficas):

Si este era el proveedor de hosting número uno de Europa y uno de los diez más grandes del mundo, ¿cómo es posible que no tuvieran respaldos off-site? No me calza.

Es más: antes siquiera de llegar a la catástrofe, ¿cómo es posible que entre tantos ingenieros, especialistas y expertos llegue a producirse un incendio de esas características? ¿No habrá una mínima posibilidad de que haya sido intencional?
Su respaldo estaba en la nube.....





Oh wait
 

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.721
Hay algo que no entiendo (perdonen la ignorancia de este pobre humanista usuario de interfaces gráficas):

Si este era el proveedor de hosting número uno de Europa y uno de los diez más grandes del mundo, ¿cómo es posible que no tuvieran respaldos off-site? No me calza.

Te arriendan el hosting nomás. Si quieres que distribuyan tus servicios a través de otros datacenters o "nodos" debes pagar más. Como la probabilidad de cagazo monumental como este es bajísima muchos se arriesgan a quedarse en un solo datacenter.



Es más: antes siquiera de llegar a la catástrofe, ¿cómo es posible que entre tantos ingenieros, especialistas y expertos llegue a producirse un incendio de esas características? ¿No habrá una mínima posibilidad de que haya sido intencional?

shit happens, siempre está la posibilidad del cagazo. Corríjanme si me equivoco, pero hace unos años un datacenter pro del norte de Santiago quedó offline un rato porque un vehículo (creo que u camión 3/4) chocó con un poste de energía eléctrica que estaba al lado.
 

iRock

Ex reportero de CHW y FayerWayer
Se incorporó
13 Diciembre 2007
Mensajes
1.448
shit happens, siempre está la posibilidad del cagazo. Corríjanme si me equivoco, pero hace unos años un datacenter pro del norte de Santiago quedó offline un rato porque un vehículo (creo que u camión 3/4) chocó con un poste de energía eléctrica que estaba al lado.
Pero claramente no es comparable...

Uno tendería a pensar que el incendio, como uno de los escenarios más previsibles, probables, riesgosos y por ende regulados (en el sentido de que hay controles, procedimientos, equipos, etc.), debiese detectarse a tiempo y extinguirse antes de que quede la Z... Si se trata de una empresa con eléctricos y una pila de huevadas. :zippy

Insisto, para ser el número uno de Europa, raro.
 

unreal4u

I solve problems.
Miembro del Equipo
ADMIN
Se incorporó
2 Octubre 2005
Mensajes
13.440
Hay algo que no entiendo (perdonen la ignorancia de este pobre humanista usuario de interfaces gráficas):

Si este era el proveedor de hosting número uno de Europa y uno de los diez más grandes del mundo, ¿cómo es posible que no tuvieran respaldos off-site? No me calza.

Es más: antes siquiera de llegar a la catástrofe, ¿cómo es posible que entre tantos ingenieros, especialistas y expertos llegue a producirse un incendio de esas características? ¿No habrá una mínima posibilidad de que haya sido intencional?
Ojo que si bien es cierto son grandes, son tb los más económicos, por lo que tienen caleta de público, pero nada crítico.

No tienen certificación ISO27001 por ejemplo, y recién el 2015 se certificaron para cumplir con PCI-DSS (3.2), pero claro: deja de ser barato en el momento en que necesitas una de estas máquinas, porque obviamente tienes que tener un respaldo off-site: estos clientes lo más probable es que no se vieran afectados por el incidente.

Saludos.
 

Ejecutor_Hanzo

Closcapchon.
Se incorporó
1 Marzo 2006
Mensajes
5.204
Yo en la pega he ido implementando poco a poco sistemas de respaldos tipo espejo a punta de batchs (por ahora es lo que hay). Tenemos solo cuestiones básicas y esenciales en el data local (servidores webs chicos, servicios de audio, AD, etc.) y todo lo critico esta en un datacenter cototo en Denver con nube propia. Igual tengo todo redundante acá y he salvado hartas cagadas gracias a eso.

Para las personas que quieran usar la nube, Google Drive y Dropbox para mi son lo mejor, ambos muy faciles de usar. Yo como soy un coleccionista con 6 TB de series, juegos y pr0n almacenados, tengo mi propio storage server en raid 1.
 

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.721
Update.
Yo sigo a una cuenta en tuiter que da noticias de sysadmins. Ya, estos socios dicen que el datacenter SE VOLVIÓ A PRENDER FUEGO :naster :naster :naster :risas:risas:risas

Es extraoficial, estoy googleando por si pillo la confirmación en un sitio más serio.
 

Patomax

REPORTERO
REPORTERO
Se incorporó
21 Agosto 2019
Mensajes
820
Update.
Yo sigo a una cuenta en tuiter que da noticias de sysadmins. Ya, estos socios dicen que el datacenter SE VOLVIÓ A PRENDER FUEGO :naster :naster :naster :risas:risas:risas

Es extraoficial, estoy googleando por si pillo la confirmación en un sitio más serio.

y eso que C9 aun funciona a carbón :zippycafe

qbItmpZ.gif
 
Subir