Also in English: rosmarops.com/blog/what-wasnt-read-doesnt-count-as-clean/
Imagina que una herramienta de revisión no puede abrir un fichero de credenciales y no te dice nada. Tú ves el informe, no hay ningún aviso sobre ese fichero, y das por hecho que está bien. Pero no lo ha mirado. Y podría ser justo el que importa.
Esa es la regla de RosmarOps que más me importa, y probablemente la menos vistosa: un escáner que calla no es un escáner que aprueba. Por eso, cuando no puede leer algo, prefiere no dar nota.
Un agente solo tiene nota si RosmarOps pudo leer todo lo que necesita para ese agente:
- el grafo de capacidades se construyó y pasó la validación;
- la ejecución no se quedó sin tiempo al construirlo;
- ninguna fuente de configuración de ese agente falló al leerse;
- ningún fichero falló al leerse de una forma que pueda esconder una credencial.
Si falla algo, el informe dice «Sin nota» y da el motivo.
Un agente que RosmarOps aún no sabe evaluar no recibe nota: el informe lo pone como detectado sin evaluar. Hoy es el caso de Cline.
Esconder cosas no da mejor nota
La otra cara de la regla es que no se puede subir la nota escondiendo cosas. Estas son las formas obvias de intentarlo, y lo que pasa con cada una.
Si haces ilegible una fuente, no da mejor nota: da «sin nota». Si quitas de la configuración más del 10 % de tus proyectos, el informe marca que la comparación con la ejecución anterior no es comparable. Si desinstalas un agente, sale del informe y la comparación con la ejecución anterior se marca como no comparable. Y sin ningún agente, el informe dice «Sin nota: no se encontró ningún agente de IA», nunca 100.
Lo único que funciona es arreglarlo de verdad. Si sacas de verdad una credencial del disco, su aviso desaparece y su peso sale de la nota.
Qué significa un 100
Un 100 significa: no se encontró exposición en lo que se leyó. Nunca significa seguro ni protegido. Y el estado general de la ejecución no puede salir verde si algo falló por el camino.
Esto hace que a veces el informe sea más incómodo de leer. Un «sin nota» frustra más que un 85. Pero la pregunta que responde RosmarOps es «¿a qué llegan hoy mis agentes?», y el silencio no responde a esa pregunta. Cuando no pudo mirar, te dice que no pudo.
Escrito con asistentes de IA. La máquina, los hallazgos y la decisión de publicar son míos.