javisantana.com

Data lake VI: trazabilidad

Hay dos momentos en los cuales quieres saber lo que está pasando en tu sistema: cuando lo estás integrando y sobretodo, cuando pasa algo malo.

Así que quieres saber qué, cuándo, quién y cómo.

Que ha pasado: alguien ha accedido a un dato, alguien ha metido datos, borrado, cambiado…

Cuándo se ha hecho lo anterior

Quién, que persona o que bot (y quién es responsable de ese voy)

Y cómo: por API, por web…

Pero no queda ahí, además de guardar toda esa información tienes que ser capaz de consultarla. Quién no se ha encontrado con 300gb de logs que hay que investigar cuando hay un problema.

Y ojo, no solo para los datos, también para los metadatos. Por ejemplo, cuando se le dio permiso de escritura a fulanito?

Tan fácil de escribir, tan difícil de implementar bien.