{"id":70,"date":"2026-11-12T06:00:00","date_gmt":"2026-11-12T05:00:00","guid":{"rendered":"https:\/\/rosmarops.com\/ca\/?p=70"},"modified":"2026-11-11T22:37:14","modified_gmt":"2026-11-11T21:37:14","slug":"agent-dia-he-acabat","status":"publish","type":"post","link":"https:\/\/rosmarops.com\/ca\/blog\/agent-dia-he-acabat\/","title":{"rendered":"La feina de deb\u00f2 comen\u00e7a quan l’agent diu \u00abhe acabat\u00bb"},"content":{"rendered":"\n

Un agent d’IA et diu que ha acabat. Com saps si \u00e9s veritat? El que he apr\u00e8s construint UXMachine, i unes quantes preguntes per comprovar la feina del teu agent encara que no siguis programador.<\/em><\/p>\n\n\n\n

Si fa unes setmanes que treballes amb un agent d’IA, coneixes l’escena. Li demanes alguna cosa, treballa una estona i al final et diu, molt segur, que ja est\u00e0. Que ha fet els canvis, que les proves passen i que tot funciona. I tu, que tens quaranta coses m\u00e9s pendents, tens la temptaci\u00f3 de creure-te’l.<\/p>\n\n\n\n

A l’article anterior vaig parlar del loop engineering<\/em>, la idea de deixar que un agent encadeni tasques sense que tu hi siguis al davant. I vaig acabar amb una idea que vull desenvolupar ara: el dif\u00edcil no \u00e9s aconseguir que l’agent treballi, sin\u00f3 saber qu\u00e8 ha fet. Addy Osmani, un dels primers a posar nom a aquesta manera de treballar, ho resumeix en una frase que em vaig apuntar: fins i tot amb un bon verificador, \u00abacabat\u00bb \u00e9s una afirmaci\u00f3, no una prova.<\/p>\n\n\n\n

El que em va passar amb UXMachine<\/h2>\n\n\n\n

A finals d’octubre, un agent em va lliurar un canvi en els textos de l’informe d’UXMachine. Les proves autom\u00e0tiques, aquests petits programes que comproven que la resta continua funcionant, eren totes en verd. I en la seva pr\u00f2pia descripci\u00f3 del canvi, l’agent avisava d’una cosa important: all\u00f2 no tocava nom\u00e9s els textos, tamb\u00e9 movia la manera de mesurar.<\/p>\n\n\n\n

Ning\u00fa no va llegir aquell av\u00eds, i el canvi es va publicar. Durant unes hores, en comparar dues mesures del mateix web, algunes regles podien apar\u00e8ixer com a \u00abnoves\u00bb encara que el web no hagu\u00e9s canviat. Ho va trobar una revisi\u00f3 posterior, uns setanta minuts despr\u00e9s. L’arranjament va arribar amb una prova nova que falla si torna a passar. Ho vaig explicar en una nota d’UXMachine<\/a>.<\/p>\n\n\n\n

El que m\u00e9s em va ensenyar d’all\u00f2 \u00e9s que l’agent no va amagar res. L’av\u00eds era al seu lliurament. El que faltava no era un agent m\u00e9s sincer, sin\u00f3 alguna cosa que lleg\u00eds el que deia.<\/strong><\/p>\n\n\n\n

El bucle de treball, explicat sense tecnicismes<\/h2>\n\n\n\n

En aquesta s\u00e8rie separo tres bucles, seguint Ichigo. El primer \u00e9s el del mateix agent, que crida eines i llegeix el que li tornen. Aquest article va del segon, el bucle de treball, i s’ent\u00e9n b\u00e9 amb una imatge d’escola.<\/p>\n\n\n\n

Si un alumne es corregeix el seu propi examen, treu molt bona nota. Si el corregeix una altra persona, la nota s’assembla m\u00e9s al que sap. El bucle de treball \u00e9s aix\u00f2: l’agent lliura alguna cosa, alg\u00fa de fora la comprova, li torna el que ha fallat i l’agent ho torna a intentar.<\/p>\n\n\n\n

Aquest \u00abalg\u00fa de fora\u00bb pot ser una prova autom\u00e0tica, una eina que mesura el resultat o una persona. L’important \u00e9s que no sigui el mateix agent. Si qui fa la tasca \u00e9s tamb\u00e9 qui la dona per bona, no hi ha bucle de treball: hi ha un alumne que es posa nota.<\/p>\n\n\n\n

Per qu\u00e8 l’agent no es pot corregir sol<\/h2>\n\n\n\n

Osmani ho diu amb humor: el model que ha escrit el codi \u00e9s massa amable quan corregeix els seus propis deures. No \u00e9s mala fe. L’agent tendeix a creure que el que acaba de fer est\u00e0 b\u00e9, igual que ens passa a nosaltres amb un text acabat d’escriure.<\/p>\n\n\n\n

L’estudi sobre 36.487 repositoris del qual vaig parlar a l’article anterior recull un nom per a l’error m\u00e9s t\u00edpic: verifier theater<\/em>, el teatre del verificador. S\u00f3n comprovacions que aproven sense comprovar de deb\u00f2. Que en un proc\u00e9s hi hagi un pas que es digui \u00abverificar\u00bb no vol dir que verifiqui res.<\/p>\n\n\n\n

La bona not\u00edcia \u00e9s que, quan la comprovaci\u00f3 est\u00e0 ben feta, funciona. Mitchell Hashimoto ho explica en el relat de com ha anat incorporant la IA a la seva feina: si li dones a un agent una manera de comprovar el que ha fet, la majoria de vegades corregeix els seus propis errors i no trenca el que ja funcionava.<\/p>\n\n\n\n

Cinc preguntes per saber si una comprovaci\u00f3 serveix<\/h2>\n\n\n\n

Ichigo resumeix al seu fil el que separa una comprovaci\u00f3 \u00fatil d’una de decorativa. Ho he convertit en preguntes que et pots fer sobre la teva manera de treballar:<\/p>\n\n\n\n

    \n\n
  1. L’agent pot tocar la comprovaci\u00f3?<\/strong> Si pot canviar la prova o el criteri, tard o d’hora s’acabar\u00e0 aprovant. La comprovaci\u00f3 ha d’estar fora del seu abast.<\/li>\n\n\n
  2. Quan falla, diu qu\u00e8 ha fallat?<\/strong> \u00abLes proves no passen\u00bb no serveix gaire. \u00abEsperava aix\u00f2, ha passat aix\u00f2 altre, i ha estat aqu\u00ed\u00bb permet corregir.<\/li>\n\n\n
  3. Qu\u00e8 passa si s’encalla?<\/strong> A m\u00e9s de \u00abb\u00e9\u00bb i \u00abmalament\u00bb, cal una tercera sortida: \u00abno avan\u00e7a\u00bb. Si despr\u00e9s de diversos intents no canvia res, continuar intentant-ho nom\u00e9s gasta.<\/li>\n\n\n
  4. Hi ha un l\u00edmit que es compleixi sol?<\/strong> Un topall d’intents o de despesa que aplica l’eina, no un que li demanes per favor. A l’estudi, nom\u00e9s 101 dels 256 repositoris revisats en tenien algun.<\/li>\n\n\n
  5. Qui diu l’\u00faltima paraula?<\/strong> Un resultat en verd continua sent una proposta fins que una persona l’accepta.<\/li>\n\n<\/ol>\n\n\n\n

    El que has vist i el que has suposat<\/h2>\n\n\n\n

    La distinci\u00f3 que m\u00e9s m’ha servit \u00e9s aquesta: aix\u00f2 ho he vist o ho he suposat? \u00abLa p\u00e0gina carrega\u00bb \u00e9s una cosa que has vist. \u00abLa p\u00e0gina funciona\u00bb gaireb\u00e9 sempre \u00e9s una cosa que suposes.<\/p>\n\n\n\n

    Un agent barreja les dues coses sense avisar. Ho vaig comprovar l’1 de novembre amb cinc agents que feien servir UXMachine per mesurar un web. Tots cinc van mesurar b\u00e9, i tres van explicar malament el resultat: van dir que no hi havia res d’important i no van esmentar el que no s’havia pogut comprovar. \u00c9s una prova d’un dia i amb cinc agents, per\u00f2 il\u00b7lustra b\u00e9 el problema.<\/p>\n\n\n\n

    Per aix\u00f2 a UXMachine intento separar les dues coses. Cada observaci\u00f3 diu on es va veure i qu\u00e8 es va mesurar. El que sap que no ha pogut comprovar, ho diu, en lloc de callar-ho. I que una cosa deixi d’apar\u00e8ixer no vol dir que estigui resolta: si en una de les dues mesures no s’ha pogut comprovar, UXMachine diu que no s\u00f3n comparables, no que el problema hagi desaparegut. Ho vaig explicar en una altra nota<\/a>.<\/p>\n\n\n\n

    T\u00e9 un l\u00edmit que no vull amagar: una eina nom\u00e9s pot avisar del que sap que no ha comprovat. El que no detecta, no ho pot avisar.<\/p>\n\n\n\n

    Amb les proves autom\u00e0tiques passa el mateix. A finals de setembre, les proves d’una part d’UXMachine passaven en verd, per\u00f2 s’executaven amb unes eines que la versi\u00f3 publicada no porta. La primera vegada que alg\u00fa l’hagu\u00e9s fet servir de deb\u00f2, hauria fallat, i cap prova no ho podia veure. Ho vam veure abans de publicar. La soluci\u00f3 va ser que el programa es negui a arrencar si troba alguna cosa que no sap comprovar, en lloc de deixar-la passar en silenci. Una prova en verd diu que una cosa funciona on s’ha provat, no on es far\u00e0 servir.<\/strong><\/p>\n\n\n\n

    El que costa un resultat fiable<\/h2>\n\n\n\n

    Un resultat en qu\u00e8 pots confiar costa m\u00e9s que un que nom\u00e9s sembla acabat. Costa temps de comprovaci\u00f3, voltes de correcci\u00f3 i, de vegades, tornar a comen\u00e7ar.<\/p>\n\n\n\n

    Aquest cost gaireb\u00e9 mai no es mira. A l’estudi, nom\u00e9s 10 dels 256 repositoris revisats apuntaven el que costaven els seus bucles. Sense aquesta dada \u00e9s f\u00e0cil creure que l’agent surt de franc, i que com m\u00e9s voltes faci, millor.<\/p>\n\n\n\n

    Abans de donar una cosa per bona<\/h2>\n\n\n\n

    No cal ser programador per fer-se aquestes quatre preguntes cada vegada que un agent diu que ha acabat:<\/p>\n\n\n\n