EXPERIENCIA PREVIA DEL EQUIPO · DESARROLLO DE SOFTWARE
Alertas para actuar.
Logs para entender qué pasa.
Un área dedicada al desarrollo de software necesitaba recuperar la confianza en sus alertas y facilitar la investigación de problemas en una infraestructura de aproximadamente 150 servidores.
Experiencia previa de integrantes de IntegralTI. Los profesionales que hoy forman parte de la empresa participaron en este trabajo desde sus respectivas funciones, antes de la constitución de IntegralTI. El área se mantiene anónima.
Muchas notificaciones, poca confianza
El equipo recibía tantas alertas por correo que comenzaba a tratarlas como falsos positivos. Los avisos perdían credibilidad y algunas situaciones quedaban sin una respuesta operativa.
Se notificaban distintos niveles de uso —por ejemplo, al 75 % y al 85 %— que no siempre tenían una acción concreta asociada. Había que acordar qué condiciones justificaban una intervención y cuándo debían notificarse.
Investigar un incidente también exigía recorrer varios servidores para reunir los logs. Esa información estaba dispersa, lo que dificultaba relacionar los eventos de las aplicaciones con el estado de la infraestructura.
El primer paso fue escuchar a infraestructura
Antes de definir herramientas o reglas, se relevó con el equipo qué situaciones consideraba importantes y qué necesitaba saber para actuar. Con esa información y las propuestas técnicas se acordaron métricas, umbrales y tiempos de persistencia.
El criterio fue que cada alerta tuviera sentido para quien la recibía y una acción concreta asociada: qué revisar y con qué equipo trabajar para resolver el problema.
Métricas, alertas y dashboards
Se implementaron Prometheus, Alertmanager, Loki y Grafana. Se incorporaron exporters y métricas personalizadas para los sistemas relevados, y se trabajó en dashboards para interpretar el estado de la infraestructura.
Las notificaciones se integraron con PagerDuty y Telegram para acompañar la respuesta operativa.
Logs disponibles desde una consulta central
Con Loki y Grafana Alloy se centralizó la recolección de logs. El operador pudo consultar la información sin ingresar servidor por servidor para recopilarla.
La visualización de logs junto con las métricas aportó contexto sobre los eventos de las aplicaciones y el estado de sus servidores.
Una adopción que se extendió a Windows
El trabajo comenzó con infraestructura Linux. Posteriormente, el equipo de Windows adoptó el enfoque, reemplazó su sistema anterior de monitoreo por una solución basada en exporters para Prometheus y sumó la centralización de logs.
La alerta volvió a activar una respuesta
Los miembros del equipo recuperaron la confianza en las notificaciones y comenzaron a actuar sobre las situaciones que se alertaban.
- Uso de memoria: ante un aumento marcado, se contactaba al responsable de la aplicación para investigar y resolver el problema.
- Base de datos: cuando se alcanzaba el umbral crítico acordado, se intervenía con el equipo responsable.
- Investigación: los logs se consultaban desde una plataforma central, evitando la recopilación manual en cada servidor.
- Visibilidad: dashboards de métricas y logs permitían interpretar el estado de los entornos Linux y Windows.
El alcance de 150 servidores es aproximado. Esta experiencia describe mejoras cualitativas observadas por los integrantes que participaron.
CONVERSEMOS SOBRE TU INFRAESTRUCTURA
¿Tus alertas ayudan a tomar decisiones?
Si tu equipo recibe avisos que no llevan a una acción o necesita recorrer varios servidores para investigar un problema, conversemos sobre cómo ordenar la observabilidad de tu infraestructura.