Incidentes anteriores

Encontramos um comportamento estranho na nossa rede de datacenter, encontramos o problema e resolvemos rapidamente.

Olá! Por enquanto nosso plano B está em ação com maior sucesso. Já migramos boa parte dos servidores para a nova estrutura. Nas próximas horas concluiremos e observaremos a performance geral. Agradeço sua paciência até então! No momento nossos servidores de mysql estão normalizados!

Agradecemos a compreensão. Estamos com todo nosso time de engenheiros em conjunto com a equipe da Dell (engenheiros de fora do Brasil) empenhados para solucionar o problema. Já estamos trabalhando na solução definitiva, porém ela não é tão simples e está levando mais tempo do que o esperado. Gostaria de reforçar que o problema foi ocasionado depois da atualização do firmware no equipamento (storage), uma recomendação do próprio fabricante, visando melhorar a estabilidade do mesmo. Infelizmente, segundo relato do time de gestão de incidentes deles, nunca havia ocorrido um erro desse tipo após a atualização. O equipamento que está falhando é um dos melhores e mais caros oferecidos por eles, que faz parte da aquisição que fizemos nesse ano, visando justamente a expansão e o aumento da qualidade dos nossos serviços. Ainda não temos uma previsão de horário, mas estamos trabalhando para que seja o mais breve possível. Sabemos o que você está sentindo, pois também estamos sendo muito afetados com esse problema e temos urgência total em resolver o quanto antes. Mais uma vez pedimos desculpas pelo transtorno.

Na madrugada de sexta-feira para sábado, realizamos uma manutenção que atualizou o Firmware do Storage que usamos no rack em que os seus serviços se encontram fisicamente, necessária por motivos de segurança. Após realizarmos a atualização, a disponibilidade do storage foi afetada e tivemos de desligar todo o ambiente, e imediatamente iniciamos contato com a fabricante para entender e resolver o problema.

A maior parte dos serviços já está online, restando apenas apenas alguns poucos casos que ainda estão sendo restabelecidos. A partir das 12h (meio-dia) de sábado conseguimos restabelecer a disponibilidade do ambiente e começamos a religar as máquinas, porém nos últimos servidores a performance na entrega dos dados se mostrou bem abaixo do normal, isto é, o servidor/serviço está lento a ponto de alguns serviços não conseguirem operar normalmente, incluindo banco de dados, sites e alguns e-mails.

A empresa que fornece a solução de storage já está a nível global trabalhando para fornecer uma solução definitiva.

Sentimos imensamente pelo ocorrido e estamos trabalhando sem descanso para restabelecer tudo.