ELK: Logstash

logstash

preprocesamiento (antes de elasticsearch)
servicio para procesar/transformar información recolectada de diferentes fuentes y enviarla a múltiples tipos de salidas.
múltiples plugins (de entrada y salida)
- +200 plugins y posibilidad de desarrollarlos
permite usar cola de almacenamiento ante errores
- kafka, redis como alterntivas más profesionales
monitorización: visibilidad de recursos de los nodos y estadísticas de servicio
seguridad: información cifrada en la comunicación con los servicios
3 etapas claramente diferenciadas: entrada, filtrado, salida

limpieza de datos
- gran cantidad de campos ¿todos necesarios?
- campos mal formados
enriquecimiento de datos
- añadir información a campos existentes
- crear campos nuevos
- geolocalización
- (ejemplo) convertir puertos a protocolos
- (ejemplo) IP → latitud, longitud
ingesta de datos:
- formas, tamaños, fuentes variados