État du réseau Nouveautés & Informations

El servicio de Mysql presenta intermitencias debido a un bug en el sistema operativo. 

Las incidencias son atendidas de manera permanente debido al monitoreo. Estamos trabajando con nuestro staff y el apoyo de ingenieros de cPanel y CloudLinux

Es posible un bug a nivel de sistema operativo en Db-governor, Límites propios de Centos 7 o incluso del hipervisor.

Seguimos en la tarea investigando y revisando logs

Hemos reparado el incidente,  se debe a bugs del nuevo centos 7 CloudLinux en el servicio db-governor

Se presento un incidente en al centro de datos de Canadá que afecto 3/4 del mismo afectando a muchos clientes. Hubo un corte de fibra en cercanías de Montreal, causado por un derrumbe natural. 

Los enlaces afectados son 

6x100G

20x10G 

En total 800 Gbps

Según el reporte ya fue ubicado y se encuentran reparando los pares. No existe un ETA por el momento, pero por experiencia son varias horas, por el momento el servicio es intermitente o inaccesible.

En estos casos, nuestros tiempos de respuesta se dilatan debido a la magnitud de la afectación.


* Se supero ya el incidente en un 90% hacia las 17 horas GMT -5 - seguimos a la espera de nuevas noticias. 

* El corte es de Level3 y afecto a varios proveedores de Internet de esa zona Este del Norte

* En los próximos 10 días se establecieron 2 rutas por la zona Oeste del centro de datos para que un incidente así no se repita nuevamente. 

El servidor presenta un incidente en el almacenamiento. Estamos trabajando en él.

* Se ha programado un reemplazo en 30 minutos.

El servidor host.dongee.com se encuentra en fix de disco luego de reiniciarse debido a un corte eléctico en la cabina. Esta operación es normal debido a que los discos se checan automáticamente luego de pocas semans luego de reiniciar. el proceso es lento.  

Los datos y el hardware esta en perfectas condiciones. 

Actualizaremos pronto.

El problema fue superado. El servidor esta arribla completamente.

Reportan en el centro de datos de los servidores alojados en Norte América un fallo en la infraestructura de red afectando algunas de las salas. 

Los técnicos ya reportaron y estan trabajando en ello.

12:38 pm (GMT - 5) el problema fue superado.

El día 27 de mayo a las 5:45 pm se presentó un corte de fibra grave entre las ciudades de Montreal y Beauharnois afectando nuestro datacenter en una de las salas donde se encuentran cerca de 1/4 de nuestros servidores. 

 Esto causó una gran  intermitencia para estos servidores, haciéndolos inaccesibles completamente por momentos. Desde nuestro nodo de gestión pudimos ver que a nivel interno del datacenter todo estaba bien, el problema estaba por fuera de él.  Nuestra Area de Clientes también estuvo por fuera de línea.

 El corte de fibra afectó 10 enlaces que perjudicaron a otros centros de datos de otras compañías y el tráfico se restableció a través de proveedores de respaldo, pero la demanda debido a la afectación a toda la cosa oeste de Norte America fue muy grande, dilatando el problema.

 El servicio hoy desde la madrugada volvió a estar inestable debido que lo técnicos debieron reparar la fibra y reconectar el servicio, normalizando el canal de fibra a las  7:37 minutos. 

 En el momento el canal esta recuperado y con un buen performance de red. 

Agradecemos su comprensión frente al tema y ofrecemos disculpas por los inconvenientes ocasionados. 

En este status, actualizaremos cualquier novedad frente a este inconveniente.

Algunos clientes de Colombia y Peru estan reportando problemas de Intermitencia en el acceso hacia algunas regiones de Europa y Norte América

Estamos a la espera de alguna comunicación oficial, ya que sólo se ven comunicaciones no oficiales a través de las redes sociales y portales de noticias

Ha finalizado la migración del nodo moby.dongee.com  - El nuevo servidor IP  198.27.87.72

La migración del nodo ariel.dongee.com va en un proceso de 50% - nueva IP  198.50.155.141

Estamos presentando problemas de enrutamiento en el centro de datos de Europa, Gravelines. Al parecer es un problema en un stwitch. Esta afectando a una de las salas y aproximadamente a 4 de nuestros servidores.

Estamos en contacto directo con el staff en datacenter. Actualizaremos pronto.

El servicio ha sido reestablecido. Todos los servidores estan online. Algunos de ellos fueron reiniciados y es posible que se encuentren en operaciones normales de inicio. No hubo daño en hardware

Se presenta un inconveniente en la red de este servidor.
Estamos revisando el inconveniente apenas se presento.
El hardware esta en perfectas condiciones

El servidor fue recuperado. El incidente es cerrado

10 am - Se presento un bloqueo del servidor kepler.dongee.com - el hardware esta bien, no finalizó con éxito el proceso de backup de esta madrugada.

https://www.dropbox.com/s/vcx5vlw7x35mptd/Captura%20de%20pantalla%202014-06-06%2010.02.53.png

Se esta terminando el proceso manualmente.

10:10 am se finalizo el proceso y el servidor esta estable.

Vericaremos el proceso de backup para evitarlo en el futuro

Se presenta una intermitencia de red debido a un corte del cable submarino del proveedor Telias Transatlantic reportado por diferentes medios. Esto ha afectado a Amazon, DigitalOcean y Twitter entre otras grandes compañías.

Algunos reportes de otros medios:

http://actualidad.rt.com/actualidad/view/128614-internet-europa-eeuu-fuera-servicio?utm_source=rss&utm_medium=rss&utm_campaign=actualidad

https://www.dropbox.com/s/fu7kljy44cegtp3/Captura%20de%20pantalla%202014-05-19%2019.32.40.png

https://www.dropbox.com/s/pua09jtpctslufd/Captura%20de%20pantalla%202014-05-19%2019.30.08.png

https://www.dropbox.com/s/1zmo8sekupnjq6p/Captura%20de%20pantalla%202014-05-19%2019.30.28.png

https://www.dropbox.com/s/67b7dngkjtb64t5/Captura%20de%20pantalla%202014-05-19%2019.30.56.png


Es posible en enrutamiento a través de otros proveedores. Se esta trabajando en nuestro centro de datos.


Actualización: El trafico fue enrutado por otros medios. Ya esta funcionando correctamente. El incidente es cerrado

3.30 pm - Se presenta una intermitencia de red en nuestro centro de datos de Paris.  Los ingenieros se encuentran revisando. Esperamos un reporte pronto
4 PM - Al parecer hay un problema mundial en este sentido que esta afectando varias compañías como Amazon, DigitalOcean, ... en nuestro Centro de Datos sigue la investigación
4.05 pm El problema ha sido resuelto a todo nivel. Agradecemos su comprensión

- Servidor plum.dongee.com con problemas de acceso al almacenamiento
- Almacenamiento recuperado
- Servidor iniciando
- El servicio fue recuperado y se encuentra estable

- Algunos clientes estan reportando incidentes sobre disponibilidad del servicio luego de la migración. Estamos procediendo a re sincronizar datos de backups menores a 24 horas
- Sincronizando por demanda. el proceso es lento debido a la carga en discos

Recuperado 100% pandora.dongee.com
Recuperando 80% europa.dongee.com - estará disponible en 3 horas. Seguira operando el servidor de respaldo hasta nuevo aviso
Recuperado 100% europa.dongee.com - 

Tarea finalizada.

Inicia la migración de los servidores:
pandora.dongee.com  - cambio de almacenamiento - Status 73% - 8 - 20 pm
 -- Sincronizando información

europa.dongee.com - cambio de almacenamiento - 12% -  8 - 20 pm
-- Sincronizando información

Finalizó sincronización. La tarea a finalizado, si tiene pregunta spor favor comuniquese a [email protected]

La actualización de Mysql governor causa error 500 en algunos archivos al no encontrar una librería. Estamos reinstalando Mysql governor y actualizando cpanel

Termino de actualizar y el servicio de base de datos opera con normalidad

En una actualización hecha por cPanel se generó un error en la ejecución de PHP causando que los sitios tengan un error 500

Estamos realizando todos los procedimientos para reparar el problema. En paralelo estamos solicitando soporte a cPanel y CloudLinux para tratar de resolverlo lo más pronto posible.


##### 8 39am - solucionado el inconveniente. Primero que todos los proveedores de hosting que tuvieron el problema a nivel global por supuesto :)

La operación de backup full no terminó con éxito. Estamos eliminando el spanshot en este momento.

Terminó de eliminar. El servicio esta estable.

Estamos realizando operaciones de actualización de software de area de clientes con algunas mejoras y fixeo de vulnerabilidades

18:33 -- Migración del servidor europa.dongee.com  a infraestructura HA. Se prevee un corte del servicio de 5 minutos mientras se enruta la ip
19:01 -- Finalizo la migración del servidor a HA www.dongee.com/ha 
19:07 sincronización final de discos. el servidor esta arriba y se sincronizará finalmente un delta pequeño. Puede tardar 20 minutos más
19:52 Migración finalizada.

Se añadir un disco duro para apoyar el crecimiento de espacio dentro del mantenimiento programado

En este momento el servidor plum.dongee.com reporta una gran carga transaccional ocasionada por un excesivo número de ingresos simultáneos (cerca de 2000) en una de las webs alojadas, que no tienen sistema de cache. Los ingenieros de soporte estra tratando de conservar la estabilidad

Se presento un problema en los enrutadores Cisco con un bug de software. Ya el parche fue aplicado y el problema fue resuelto por el staff del Datacenter. Este incidente fue catalogado como desastroso y es la primera vez que sucede, ya que el uptime de network siempre ha sido el 100% durante estos años. El reporte oficial fue

Wednesday, 28 March 2012, 20:39PM

Hello,

We had a routing problem tonight, due to a software bug which affected 2 principal routers in Roubaix. These Cisco ASR 9010 ensure collecting the bandwidth of datacenters in Roubaix (RBX1 RBX2 RBX3 RBX4 RBX5) and the connection to Paris, Brussels, Amsterdam, London and Frankfurt. Briefly, the routing heart in Roubaix.

This bug is known and is well related to new cards that we set end of January (24x10G per slot). For a random reason the card detects the RAM ECC errors and doesn't rout packets anymore. But certainly despite this the card is not declared as "breakdown" and remains in the router as if it was good.

Other routers will continue to send packets but there's none in front. That would cause a big issue and the network will not perform correctly.

The worse: a breakdown not net.

Tonight, 3 24x10G cards on 2 ASR 9010 routers had this bug almost in the same time. This broke the network in 3 pieces: USA/London/Amsterdam/Warsaw, Roubaix and Paris, Frankfurt, Madrid, Milan, aspiring the packets in Roubaix. Usually, the traffic would have been rerouted but then it was aspired and blocked in Roubaix.

Therefore, we didn't exploit the network to manage it and recover the logs of all the routers in order to reveal the problem's origin.

We have navigated to the old one, with rescue/external connexions to connect to each backbone router and check whether the router is the origin of the issue.

This operation took time, since there are 2 broken routers and it took us time to understand that this not only due to the router rbx-g2-a9 but also due to rbx-g1-a9.

Once we've restarted the 3 cards, all went back to normal in 5 minutes.

3 Weeks ago. We have already opened a ticket to Cisco regarding the RAM ECC issue. Cisco worked on this matter and has provided .. this morning, the patch software to apply on these routers in order to fix the problem. We are going to start the operation tonight. No breakdown expected.

We will focus also, on how to improve the management of our routers if all the backbone is down for a reason that will never happen.

We know how to deal with this case, but it's quite long. Very long.

Cordial saludo,

Durante este fin de semana, en horario estrictamente nocturno se realizará una migración de los servidores 1 y 7 hacia nuestra nueva plataforma de computación en nube. Este cambio no causará inconvenientes sobre sus páginas web o correos electrónicos.

Se realizará un cambio en la IP del servidor, que será anunciado en su momento. En general si ud usa el IP para algo debe cambiarlo por su dominio para no causar inconvenientes.

Para conocer el porque y los beneficios puede consultar la siguiente nota en el sitio web de Industrialmedia SA http://www.industrialm.com/multiples-cambios-en-la-infraestructura-de-industrialmedia-sa/

Las horas de migración serán el viernes y sábado de 10pm a 6 am del día siguiente. Si tiene alguna o pregunta nuestro staff esta dispuesto a recibirlas y contestarlas lo más pronto posible en http://my.imediaservicecenter.com/submitticket.php?step=2&deptid=11

Cordialmente,

Christian González

Depto Soporte 
Dongee hosting
Industrialmedia SA