Saltar al contenido
fernet.consultores

Escenario de referenciaSplunk Observability CloudAlertas y SLODirectivo y técnico · 4 min de lectura

Cientos de alertas de CPU y ninguna nos dice que el cliente está afectado.

Escrito por Fernando Mateo Ruiz · Splunk Enterprise Certified Architect · Splunk O11y Cloud Certified Metrics User · Revisado el 28 octubre 2026

Escenario de referencia: describe una situación habitual y cómo la abordamos. No es un proyecto de cliente ni incluye resultados medidos.

En 30 segundos

El problema: La guardia recibe avisos por un servidor al 85 % de CPU, mientras las caídas reales llegan sin alerta, porque nada mide lo que vive el usuario.

Qué lo resuelve: Objetivos de nivel de servicio (SLO) sobre el éxito y la latencia de las peticiones en APM, con alertas de burn rate que solo avisan cuando el presupuesto de error está en riesgo.

Qué cambia: Menos avisos, cada uno ligado a un impacto en el usuario, y un objetivo de fiabilidad que entienden negocio e IT.

¿Te suena?

  • El canal de alertas está silenciado.
  • Un servidor al 90 % de CPU despierta a alguien de madrugada y no pasa nada.
  • La última caída real no disparó ni una alerta.
  • Nadie recuerda por qué existen la mitad de los detectores.

La pregunta que hay que responder

¿Está cumpliendo el servicio la fiabilidad que prometimos y, a este ritmo, cuándo dejará de cumplirla?

Por qué importa

Una alerta que no refleja impacto en el usuario enseña al equipo a ignorar las alertas. Un SLO convierte la fiabilidad en una cifra que el negocio entiende.

Señales necesarias

  • ImprescindiblePeticiones, errores y latencia de APM
  • RecomendadaResultados de pruebas sintéticas
  • RecomendadaMétricas de infraestructura
  • OpcionalEventos de despliegue

Arquitectura

Escenario de referencia: la arquitectura es genérica y no pertenece a ningún cliente.

Cómo se implementa

  1. Revisa los detectores que existen hoy: cuáles saltaron en las últimas semanas, cuáles acabaron en una acción y cuáles se ignoraron.
  2. Elige los 2 o 3 recorridos o endpoints que importan y define un indicador para cada uno: éxito de las peticiones o latencia de las peticiones.
  3. En Alerts › Service level objectives, crea el SLO con el tipo Service & endpoint, un objetivo (por ejemplo, 99,5 %) y un periodo de cumplimiento.
  4. Avisa a la guardia con las alertas Burn rate y Error budget. La alerta Breach event indica que el objetivo ya se ha incumplido, así que sirve mejor para informes.
  5. Pasa los detectores de CPU, memoria y disco a un canal que no despierte a nadie y úsalos para capacidad, salvo que anticipen un fallo inminente (un disco que se llenará en horas).
  6. Añade un responsable y un enlace al procedimiento en cada detector que avise a una persona.
Indicador con una métrica propia (SignalFlow) · ejemplo
# Solo si el tipo Service & endpoint no encaja con tu caso.
# Métrica de APM: peticiones de un servicio en producción.
good = data('service.request.count', filter=filter('sf_service', 'checkout') and filter('sf_environment', 'prod') and filter('sf_error', 'false')).sum()
total = data('service.request.count', filter=filter('sf_service', 'checkout') and filter('sf_environment', 'prod')).sum()

Investigación paso a paso

Ejemplo ilustrativo de cómo se investigaría, de la señal a la acción.

  1. 01 SeñalSalta la alerta de burn rate del SLO de pago: a este ritmo, el presupuesto de error del mes se agotaría en dos días.
  2. 02 ContextoLa CPU de los servidores es normal y no ha saltado ningún detector de infraestructura.
  3. 03 CorrelaciónEn APM, los errores vienen de POST /api/checkout y empiezan justo después del despliegue de las 10:40.
  4. 04 CausaLa nueva versión llama a un endpoint del servicio de precios que ya no existe y recibe un 404.
  5. 05 DecisiónVolver atrás: el presupuesto se está gastando demasiado rápido para esperar a una corrección.
  6. 06 AcciónRevertir el despliegue, añadir la comprobación de dependencias a la lista de despliegue y revisar el objetivo con negocio.

Errores habituales

  • Avisar por umbrales de recursos que no significan impacto en el usuario.
  • Fijar un objetivo del 100 %: no queda presupuesto de error y cualquier pico se convierte en incidente.
  • Crear SLO para todo en lugar de para los recorridos que importan.
  • Esperar al breach event, cuando el presupuesto ya está gastado.

Qué no resuelve este caso

  • No decide el objetivo por ti: es un acuerdo con negocio.
  • No cubre servicios sin instrumentar o sin tráfico.

Resultado esperado

Menos avisos, cada uno ligado a un impacto en el usuario y a un responsable, y una cifra mensual de fiabilidad para cada servicio crítico.

Resultado observado

Es un escenario de referencia: no publicamos resultados medidos hasta probarlo en nuestro laboratorio o en un proyecto autorizado.

Requisitos

Plataforma

Splunk Observability Cloud con APM

Instrumentación

OpenTelemetry en los servicios de los recorridos

Acuerdo

Un objetivo pactado con negocio y un responsable de guardia

Servicios relacionados

Preguntas que te haríamos

  1. ¿Cuántas alertas despertaron a alguien el mes pasado y cuántas requerían una acción?
  2. ¿Qué recorridos no pueden fallar nunca y qué fiabilidad prometéis en ellos?
  3. ¿Quién fija hoy el objetivo de fiabilidad: IT, negocio o nadie?
Hablemos de tu caso