Saltar al contenido
fernet.consultores

Escenario de referenciaSplunk Observability CloudOpenTelemetryTécnico · 3 min de lectura

Los gráficos tienen huecos y no sabemos si el Collector está perdiendo datos.

Escrito por Fernando Mateo Ruiz · Splunk Enterprise Certified Architect · Splunk O11y Cloud Certified Metrics User · Revisado el 28 octubre 2026

Escenario de referencia: describe una situación habitual y cómo la abordamos. No es un proyecto de cliente ni incluye resultados medidos.

En 30 segundos

El problema: Los gráficos tienen huecos o las trazas llegan incompletas, y nadie sabe si la culpa es de la aplicación, de la red o del Collector.

Qué lo resuelve: Tratar el Collector como un servicio de producción: vigilar sus métricas internas y alertar cuando rechaza datos, no consigue enviarlos o se le llena la cola.

Qué cambia: Un hueco se convierte en un diagnóstico: qué Collector, qué pipeline y por qué.

¿Te suena?

  • Aparecen huecos en los gráficos en las horas punta.
  • Tras un cambio de red, algunos servidores dejan de reportar.
  • Los gateways se reinician sin un motivo claro.
  • Ningún detector vigila a los agentes ni a los gateways.

La pregunta que hay que responder

¿Cada Collector recibe, procesa y envía todo lo que debe y, si no, dónde se pierden los datos?

Por qué importa

Si el pipeline pierde datos en silencio, todos los gráficos y detectores que dependen de él están mal sin que nadie se dé cuenta.

Señales necesarias

  • ImprescindibleMétricas internas del Collector (otelcol_*)
  • ImprescindibleLogs del Collector
  • RecomendadaMétricas de los servidores de agentes y gateways
  • OpcionalMétricas del balanceador

Arquitectura

Escenario de referencia: la arquitectura es genérica y no pertenece a ningún cliente.

Cómo se implementa

  1. Comprueba que cada Collector envía sus propias métricas. La configuración por defecto de Splunk las recoge con el receptor prometheus/internal en el puerto 8888 y las envía en el pipeline metrics/internal.
  2. Compara lo que entra con lo que sale en cada Collector: otelcol_receiver_accepted_* frente a otelcol_exporter_sent_*.
  3. Crea detectores para las pérdidas: otelcol_receiver_refused_*, otelcol_exporter_send_failed_* y otelcol_exporter_enqueue_failed_* por encima de cero.
  4. Vigila la cola: cuando otelcol_exporter_queue_size se acerca a otelcol_exporter_queue_capacity, el destino no da abasto.
  5. Dimensiona la memoria y mantén el procesador memory_limiter: cuando actúa, el Collector rechaza datos a propósito para no quedarse sin memoria.
  6. Si los gateways están detrás de un balanceador, revisa el health check y que el tráfico se reparte entre todos.
Límite de memoria, cola y reintentos · ejemplo
processors:
  memory_limiter:
    check_interval: 2s
    limit_mib: ${SPLUNK_MEMORY_LIMIT_MIB}
exporters:
  otlp_http:
    # Conserva tu endpoint y cabeceras actuales
    sending_queue:
      enabled: true
    retry_on_failure:
      enabled: true
# Dimensiona la cola para tus picos y vigila otelcol_exporter_queue_size.

Investigación paso a paso

Ejemplo ilustrativo de cómo se investigaría, de la señal a la acción.

  1. 01 SeñalLos paneles muestran huecos en varios servidores entre las 09:00 y las 09:20.
  2. 02 ContextoLos servidores estaban activos, y los contadores de envíos fallidos de sus agentes suben en esa franja.
  3. 03 CorrelaciónEn los gateways, la cola llega a su capacidad y otelcol_exporter_enqueue_failed_* empieza a contar.
  4. 04 CausaUn gateway había salido del pool del balanceador y el otro no pudo absorber el pico.
  5. 05 DecisiónNo es un problema de la aplicación: la capa de gateways está infradimensionada y tiene un punto único de fallo.
  6. 06 AcciónCorregir el health check, dimensionar los dos gateways para el pico y añadir detectores sobre el uso de la cola y los envíos fallidos.

Errores habituales

  • No monitorizar el Collector porque «solo es un agente».
  • Colas enormes que esconden el problema hasta que se acaba la memoria.
  • Quitar memory_limiter para que «deje de rechazar datos».
  • Health checks que comprueban el puerto, pero no el pipeline.

Qué no resuelve este caso

  • No recupera los datos que ya se han perdido.
  • No sustituye la planificación de capacidad de los gateways.

Resultado esperado

Cada hueco en un gráfico tiene una explicación, y salta una alerta cuando un Collector rechaza, no consigue enviar o encola datos, antes de que alguien eche de menos información.

Resultado observado

Es un escenario de referencia: no publicamos resultados medidos hasta probarlo en nuestro laboratorio o en un proyecto autorizado.

Requisitos

Plataforma

Splunk Observability Cloud

Acceso

Configuración de agentes, gateways y balanceador

Versión

Una versión con soporte de la distribución de Splunk del OpenTelemetry Collector

Servicios relacionados

Preguntas que te haríamos

  1. ¿Cuántos Collectors tenéis y en qué modo (agente, gateway)?
  2. ¿Hay hoy algún detector que vigile a los Collectors?
  3. ¿Qué pasa con vuestros datos si se cae un gateway?
Hablemos de tu caso