També en anglès: rosmarops.com/blog/what-wasnt-read-doesnt-count-as-clean/ · en castellà: rosmarops.com/es/blog/lo-que-no-se-leyo-no-cuenta-como-limpio/
Imagina que una eina de revisió no pot obrir un fitxer de credencials i no t’ho diu. Llegeixes l’informe, no hi ha res sobre aquell fitxer, i dones per fet que està bé. Però no l’ha mirat. I pot ser justament el que importa.
Aquesta és la regla que més m’importa de RosmarOps, i segurament la menys vistosa: un escàner que calla no és el mateix que un escàner que aprova. Per això, quan no pot llegir alguna cosa, prefereix no donar nota.
Un agent només té nota si RosmarOps ha pogut llegir tot el que necessita per a aquest agent:
- el graf de capacitats s’ha construït i ha passat la validació;
- l’execució no s’ha quedat sense temps en construir-lo;
- cap font de configuració d’aquest agent no ha fallat en llegir-se;
- cap fitxer no ha fallat en llegir-se d’una manera que pugui amagar una credencial.
Si falla alguna d’aquestes coses, l’informe diu «Sense nota» (a l’informe, «Sin nota» o «No score») i en dona el motiu.
Un agent que RosmarOps encara no sap avaluar no rep nota: l’informe el posa com a detectat, encara sense avaluar. Avui és el cas de Cline.
Amagar coses no dona millor nota
L’altra cara de la regla és que no pots pujar la nota amagant coses. Aquestes són les maneres evidents d’intentar-ho, i què passa amb cadascuna.
Si fas il·legible una font, no tens millor nota: no tens nota. Si treus de la configuració més del 10 % dels teus projectes, l’informe marca la comparació amb l’execució anterior com a no comparable. Si desinstal·les un agent, surt de l’informe i la comparació amb l’execució anterior es marca com a no comparable. Sense cap agent, l’informe diu «Sense nota: no s’ha trobat cap agent d’IA» (a l’informe, «Sin nota: no se encontró ningún agente de IA» o «No score: no AI agents found»), mai 100.
L’única cosa que funciona és arreglar-ho de debò. Si treus de debò una credencial del disc, el seu avís desapareix i el seu pes surt de la nota.
Què vol dir un 100
Un 100 vol dir: no s’ha trobat exposició en el que s’ha llegit. Mai no vol dir segur, i mai no vol dir protegit. I l’estat general de l’execució no pot ser verd si alguna cosa ha fallat pel camí.
Això fa que, de vegades, l’informe sigui menys còmode de llegir. Un «Sense nota» frustra més que un 85. Però la pregunta que respon RosmarOps és «a què poden arribar avui els meus agents?», i el silenci no la respon. Quan no ha pogut mirar, et diu que no ha pogut.
Ho he escrit amb assistents d’IA. La màquina, els avisos i la decisió de publicar-ho són meus.