Escenario de referenciaSplunk Observability CloudAlertas y SLODirectivo y técnico · 4 min de lectura
Cientos de alertas de CPU y ninguna nos dice que el cliente está afectado.
Escrito por Fernando Mateo Ruiz · Splunk Enterprise Certified Architect · Splunk O11y Cloud Certified Metrics User · Revisado el 28 octubre 2026
Escenario de referencia: describe una situación habitual y cómo la abordamos. No es un proyecto de cliente ni incluye resultados medidos.
En 30 segundos
El problema: La guardia recibe avisos por un servidor al 85 % de CPU, mientras las caídas reales llegan sin alerta, porque nada mide lo que vive el usuario.
Qué lo resuelve: Objetivos de nivel de servicio (SLO) sobre el éxito y la latencia de las peticiones en APM, con alertas de burn rate que solo avisan cuando el presupuesto de error está en riesgo.
Qué cambia: Menos avisos, cada uno ligado a un impacto en el usuario, y un objetivo de fiabilidad que entienden negocio e IT.
¿Te suena?
- El canal de alertas está silenciado.
- Un servidor al 90 % de CPU despierta a alguien de madrugada y no pasa nada.
- La última caída real no disparó ni una alerta.
- Nadie recuerda por qué existen la mitad de los detectores.
La pregunta que hay que responder
¿Está cumpliendo el servicio la fiabilidad que prometimos y, a este ritmo, cuándo dejará de cumplirla?
Por qué importa
Una alerta que no refleja impacto en el usuario enseña al equipo a ignorar las alertas. Un SLO convierte la fiabilidad en una cifra que el negocio entiende.
Señales necesarias
- ImprescindiblePeticiones, errores y latencia de APM
- RecomendadaResultados de pruebas sintéticas
- RecomendadaMétricas de infraestructura
- OpcionalEventos de despliegue
Arquitectura
Escenario de referencia: la arquitectura es genérica y no pertenece a ningún cliente.
Cómo se implementa
- Revisa los detectores que existen hoy: cuáles saltaron en las últimas semanas, cuáles acabaron en una acción y cuáles se ignoraron.
- Elige los 2 o 3 recorridos o endpoints que importan y define un indicador para cada uno: éxito de las peticiones o latencia de las peticiones.
- En Alerts › Service level objectives, crea el SLO con el tipo Service & endpoint, un objetivo (por ejemplo, 99,5 %) y un periodo de cumplimiento.
- Avisa a la guardia con las alertas Burn rate y Error budget. La alerta Breach event indica que el objetivo ya se ha incumplido, así que sirve mejor para informes.
- Pasa los detectores de CPU, memoria y disco a un canal que no despierte a nadie y úsalos para capacidad, salvo que anticipen un fallo inminente (un disco que se llenará en horas).
- Añade un responsable y un enlace al procedimiento en cada detector que avise a una persona.
# Solo si el tipo Service & endpoint no encaja con tu caso.
# Métrica de APM: peticiones de un servicio en producción.
good = data('service.request.count', filter=filter('sf_service', 'checkout') and filter('sf_environment', 'prod') and filter('sf_error', 'false')).sum()
total = data('service.request.count', filter=filter('sf_service', 'checkout') and filter('sf_environment', 'prod')).sum()
Investigación paso a paso
Ejemplo ilustrativo de cómo se investigaría, de la señal a la acción.
- 01 SeñalSalta la alerta de burn rate del SLO de pago: a este ritmo, el presupuesto de error del mes se agotaría en dos días.
- 02 ContextoLa CPU de los servidores es normal y no ha saltado ningún detector de infraestructura.
- 03 CorrelaciónEn APM, los errores vienen de
POST /api/checkouty empiezan justo después del despliegue de las 10:40. - 04 CausaLa nueva versión llama a un endpoint del servicio de precios que ya no existe y recibe un 404.
- 05 DecisiónVolver atrás: el presupuesto se está gastando demasiado rápido para esperar a una corrección.
- 06 AcciónRevertir el despliegue, añadir la comprobación de dependencias a la lista de despliegue y revisar el objetivo con negocio.
Errores habituales
- Avisar por umbrales de recursos que no significan impacto en el usuario.
- Fijar un objetivo del 100 %: no queda presupuesto de error y cualquier pico se convierte en incidente.
- Crear SLO para todo en lugar de para los recorridos que importan.
- Esperar al breach event, cuando el presupuesto ya está gastado.
Qué no resuelve este caso
- No decide el objetivo por ti: es un acuerdo con negocio.
- No cubre servicios sin instrumentar o sin tráfico.
Resultado esperado
Menos avisos, cada uno ligado a un impacto en el usuario y a un responsable, y una cifra mensual de fiabilidad para cada servicio crítico.
Resultado observado
Es un escenario de referencia: no publicamos resultados medidos hasta probarlo en nuestro laboratorio o en un proyecto autorizado.
Requisitos
Plataforma
Splunk Observability Cloud con APM
Instrumentación
OpenTelemetry en los servicios de los recorridos
Acuerdo
Un objetivo pactado con negocio y un responsable de guardia
Servicios relacionados
Preguntas que te haríamos
- ¿Cuántas alertas despertaron a alguien el mes pasado y cuántas requerían una acción?
- ¿Qué recorridos no pueden fallar nunca y qué fiabilidad prometéis en ellos?
- ¿Quién fija hoy el objetivo de fiabilidad: IT, negocio o nadie?