Coding Fry

10 min čítania

CRAP score: prečo AI píše sračky a čo s tým

Video: Prečo AI píše v kóde sra*ky (a ako to zastaviť)10 tis. pozretí

Tvoj AI agent má v pravidlách všetko jasne napísané, a aj tak spraví bordel. Nie preto, že je hlúpy. Pravidlá berie ako odporúčanie. CRAP score je číslo, s ktorým sa vyjednávať nedá.

Na kód od AI agentov ho nasadil Uncle Bob, autor knihy „Clean Code“ a niečo ako Ronaldo medzi programátormi. Ja som ho pustil na svoj projekt v produkcii. Najhoršia funkcia mala skóre 4 692. Prah, nad ktorým je kód rizikový, je 30.

V článku zistíš, čo CRAP score meria, prečo nestačí, keď ti kód kontrolujú iní agenti, ako si ho pustíš na vlastnom projekte a ako zabrániť tomu, aby ťa agent pri opravách oklamal.

V skratke

  1. AI je nedeterministická. Raz chybu zachytí, inokedy nie. Pravidlá v AGENTS.md sú pre ňu skôr odporúčanie.
  2. CRAP score je deterministické. Pri rovnakom meraní dostane rovnaký kód vždy rovnaké skóre, bez ohľadu na náladu modelu.
  3. Meria dve veci: ako zložitá je funkcia a koľko z nej pokrývajú testy.
  4. Agenti vedia podvádzať prázdnymi testami. Preto k CRAP patrí mutation testing.
  5. Nie každý projekt to potrebuje. Akceptačné kritériá ale pomôžu na každom.

Čo je CRAP score

Merák kvality kódu s označeným prahom 30, ručička je ďaleko za koncom stupnice a z meráka sa dymí.

CRAP je skratka pre Change Risk Anti-Patterns. Ľudsky: predpovedá, ako veľmi ti daný kód v budúcnosti skomplikuje zmeny, rozširovanie alebo prepis. Vymysleli ho v roku 2007 Alberto Savoia a Bob Evans. Ja mu hovorím hnojometer.

Hodnotí každú funkciu zvlášť podľa dvoch vecí:

  • zložitosť: koľko rôznych ciest vedie cez funkciu. Každá podmienka („ak“) alebo cyklus pridá jednu. Odborne cyklomatická zložitosť,
  • pokrytie testami: aká časť funkcie sa vykoná, keď bežia automatické testy.

Vzorec je zložitosť² × (1 - pokrytie)³ + zložitosť, kde pokrytie je číslo od 0 do 1. Čím vyššie skóre, tým väčší hnojokód.

Dva vstupy, zložitosť a testy, vedú do jedného ukazovateľa CRAP score.

Zo vzorca vidno to podstatné. Funkcia so zložitosťou 10, ktorú celú pokrývajú testy, má skóre 10. Tá istá funkcia bez jediného testu má 110. Zložitý kód bez testov skóre vystrelí do neba.

Prečo na slove „deterministický“ záleží

Deterministický znamená, že rovnaký vstup vždy vráti rovnaký výstup. 2 + 2 je vždy 4, nech to spustíš koľkokrát chceš. Pokiaľ teda nie si kreatívny účtovník.

Pre CRAP to znamená, že pri rovnakej zložitosti a rovnakom pokrytí vyjde vždy to isté skóre. Žiadne „dnes to prešlo, zajtra nie“.

Uncle Bob to skúšal už pred takmer 20 rokmi a vzdal to. Pekná hračka, ale pre človeka nepraktická. Agentom takáto nudná práca nevadí. Čo jemu trvalo dni, agent spraví za minúty.

Prečo nestačí, keď ti kód kontroluje iný agent

Pred nasadením nechávam kód kontrolovať nezávislými agentmi už niekoľko mesiacov. Nie pri oprave textov, ale keď sa mení logika, faktúry, členstvá po úhrade, čokoľvek spojené s peniazmi. Čím zložitejšia zmena, tým vyšší reasoning kontrolórov.

Zachytí to kopec bezpečnostných problémov. Lenže keď si raz za čas zbežne pozriem zmeny, skoro vždy nájdem niečo, čo prešlo:

  • efekty vo Svelte, pri ktorých by sa každý, kto Svelte pozná, chytil za hlavu. A to mám v pokynoch jasne napísané, že efekt je len núdzové východisko,
  • kód, pri ktorom by hnojometer asi vybuchol,
  • celý súbor len na výber ikonky, pritom na to mám komponentu, ktorá to rieši jedným riadkom.

A to som preskenoval jediný pull request, na ktorý dali všetci nezávislí agenti zelenú.

Prečo AI agent ignoruje tvoje pravidlá

Pretože AI je nedeterministická. Požiadaj ju, nech jedným slovom povie, akej farby je obloha. Skoro vždy povie „modrá“. Niekedy ale „modro-biela“, alebo zistí, koľko je hodín, a večer povie „čierna“.

Čím väčšia úloha a čím viac skillov, nástrojov a MCP serverov má agent v kontexte, tým viac to zakaždým urobí trochu inak. Aj pri úplne rovnakom zadaní.

Uncle Bob hovorí, že prompt, skilly aj pravidlá berú agenti skôr ako odporúčanie než zákon. Podľa štúdie z februára 2026 súbory ako AGENTS.md agentom pri plnení testovaných úloh väčšinou nepomohli a prácu zdražili o viac ako 20 %. Tie, ktoré napísala AI, úspešnosť dokonca mierne znížili. Ponaučenie: do AGENTS.md patrí len to naozaj nutné, a čo musí platiť vždy, treba overiť inak.

Určite to poznáš. Agentovi vynadáš, ospravedlní sa, „máš pravdu, nabudúce si to zapamätám“. A o týždeň urobí to isté.

Bordel plodí ďalší bordel

Agent si existujúci kód načíta do kontextu, či chceš alebo nie. Nepovie si, že toto je hnoj. Povie si: aha, toto je tu štandard. A podľa toho píše ďalej.

Dva elektrické rozvádzače: vľavo pomiešané neoznačené káble, vpravo úhľadné rady ističov so štítkami.

Je to ako elektrický rozvádzač. Kým funguje, neriešiš ho. Keď doň potrebuješ pridať ističe a vidíš pomiešané neoznačené káble, najradšej by si dvierka zavrel a odišiel. Pekne označený rozvádzač ti elektrikár rozšíri za chvíľočku.

Platí to pre agentov aj pre ľudí. CRAP score nevyrieši všetko, ale pridá kontrolu, ktorá nezávisí od toho, či si model dnes spomenie na pravidlá. Trochu ako keby si agentovi nahral „Clean Code“ priamo do DNA.

Aké CRAP score je dobré?

Bežne sa za hranicu berie 30. Funkcia nad ňou je kandidát na rozdelenie alebo na testy. Uncle Bob je prísnejší: človeku drží CRAP pod 4, agentom dovolí 6, niekedy 8.

Moje čísla: softvér, ktorý mám v produkcii 6 a pol roka, má necelých 18 000 funkcií. Skoro 1 400 z nich je nad prahom 30. Najhoršia má 4 692, hlavne preto, že nemá žiadne testy. Pri nulovom pokrytí také číslo vyjde pri zložitosti 68.

Zaujímavé je, že túto funkciu som nepísal ja. Pridal ju AI agent vo februári. Netvrdím, že by som ju napísal lepšie. Agenti sú aj tak stokrát rýchlejší a lacnejší, s nadsázkou. Ja zatiaľ len viem AI lepšie usmerňovať, ako ona usmerňuje samu seba.

Ako zistíš CRAP score svojho projektu

Na to nepotrebuješ programovať. Stačí, aby tvoj projekt mal aspoň nejaké automatické testy, a aj keď ich nemá, výsledok ti povie, kde je najväčšie riziko.

Napíš agentovi

Zisti CRAP score funkcií v tomto projekte. Spusti existujúce testy s meraním pokrytia (code coverage), len lokálne a nikdy proti produkčným dátam alebo službám (databáza, e-maily, platobná brána). Ak si nie si istý, že testy nikam von nezapisujú, najprv sa ma opýtaj. Potom zmeraj cyklomatickú zložitosť každej funkcie nástrojom vhodným pre jazyk projektu a vypočítaj CRAP = zložitosť² × (1 - pokrytie)³ + zložitosť, pričom pokrytie je číslo od 0 do 1. Napíš, akým nástrojom a aký typ pokrytia si meral. Vypíš 20 najhorších funkcií (súbor, názov, skóre, zložitosť, pokrytie) a koľko funkcií je nad 30. Funkcie, pri ktorých pokrytie zmerať nejde, označ ako neznáme, nie ako nulové. Kód ani testy nemeň. Ak potrebuješ niečo nainštalovať, najprv sa ma opýtaj.

Výsledok ber ako mapu, nie ako známku. Funkcia s vysokým skóre, ktorá rieši faktúry alebo prístupy, je dôležitejšia ako tá, čo vykresľuje pätičku.

Pozor, agenti pri opravách podvádzajú

Najjednoduchšie by bolo povedať agentovi: dostaň všade CRAP score pod 10. Má to dva háčiky.

Prvý: taký prepis celého projektu zje kopu limitov z členstva. Druhý: agenti vedia podvádzať. Keď sa im nedarí splniť cieľ a chcú ukázať progres, vedia to obísť, napríklad prázdnymi testami.

CRAP sa totiž pozerá len na to, či test funkciu spustí, nie či ten test niečo kontroluje. Stačí test, ktorý funkciu zavolá a výsledok ignoruje. Pokrytie vyzerá hotovo, a pritom prázdne testy nerobia nič.

Často je to chyba zadania. Keď napíšeš len „dostaň CRAP pod 10“, agent si domyslí, že stačia prázdne škrupiny. Ale deje sa to aj pri dobrom zadaní. Výskum ImpossibleBench ukázal, že agenti upravujú a obchádzajú testy, keď sa úloha nedá splniť.

Najnebezpečnejšie je to pri fakturácii, prístupoch, kreditoch a všade, kde ide o reálne peniaze.

Čo je mutation testing (hardener)

Preto potrebuješ hardener, ktorý overí, že testy niečo kontrolujú. Odborne mutation testing. Ľudsky: naschvál pokazíš kód a pozeráš, či si to test všimne.

Kód a + b sa zmení na a - b. Test 2 + 2 = 4 zlyhá a chybu zachytí, test 1 = 1 svieti ďalej na zeleno.

Príklad na funkcii, ktorá sčíta dve čísla:

  • Poctivý test: zavolá súčet s 2 a 2 a overí, že vyšlo 4. Podvodný test: funkciu zavolá, výsledok ignoruje a overí len, že 1 sa rovná 1. Oba svietia na zeleno.
  • Hardener zmení plus na mínus. Poctivý test spadne, chybu zachytil. Podvodný svieti ďalej.
  • Keď ale zmení plus na krát, 2 × 2 je stále 4 a test prejde. Preto pridáš ďalší príklad: 2 + 3 je 5, ale 2 × 3 je 6.

Pokazenej kópii kódu sa hovorí mutant. Keď pri nej testy stále prejdú, mutant prežil a testy tú chybu nestrážia. Bob na to hovorí: mutanta, ktorý prežil, musíš zabiť, teda pridať test, ktorý pri ňom spadne.

Výnimkou je mutant, ktorý správanie funkcie vôbec nezmení. Toho zabiť nejde a stačí ho poznačiť.

Celé to funguje, lebo aj hardener mení kód podľa pevných pravidiel, nie podľa nálady. Na bežné jazyky existujú hotové nástroje, napríklad Stryker pre JavaScript a TypeScript, PIT pre Javu alebo mutmut pre Python.

Ako opraviť hnojokód bez podvádzania

Neopravuj všetko naraz. Vezmi jednu najhoršiu funkciu, ideálne takú, čo súvisí s peniazmi alebo prístupmi, a postupuj v tomto poradí: najprv poctivé testy, potom ich overenie, až potom úprava kódu.

Napíš agentovi

Pracuj len na funkcii [názov funkcie a súbor]. 1. Napíš testy, ktoré overujú jej skutočné správanie na konkrétnych vstupoch a očakávaných výstupoch, vrátane okrajových prípadov. Žiadne testy, ktoré len spustia kód alebo porovnávajú konštanty. Ak súčasné správanie vyzerá ako chyba, nezakonzervuj ho testom, ale mi to napíš. 2. Over ich mutation testingom nástrojom vhodným pre jazyk projektu (najprv sa ma opýtaj, ak ho treba nainštalovať). Mutantov, ktorí prežili, zabi ďalšími testmi. Tých, ktorí správanie nemenia, len vypíš s vysvetlením. 3. Až potom funkciu rozdeľ na menšie časti, kým CRAP score pôvodnej aj všetkých nových funkcií neklesne pod 30. Pri tom kroku už testy nemeň ani nemaž, nastavenie merania nemeň a správanie funkcie musí ostať rovnaké. Po úprave znova spusti testy aj mutation testing. Testy spúšťaj len lokálne a nikdy proti produkčným dátam alebo službám (databáza, e-maily, platobná brána). Na konci mi ukáž CRAP score pred a po, výsledok mutation testov a zoznam zmenených súborov.

Dôležitá je veta „pri tom kroku už testy nemeň“. Keď agent upravuje kód aj testy naraz, vie si ich prispôsobiť tak, aby všetko svietilo na zeleno.

Potrebuje CRAP score každý projekt?

Nie. Ja kontrolu vidím v piatich úrovniach:

Päť schodov s číslami 1 až 5, schody 3, 4 a 5 sú zvýraznené žltou.

  1. Vibe kódiš a hádžeš rovno na produkciu. Klasická prasárnička, čo občas robíme všetci. Na interný nástroj v pohode. Ak je na internete len pre teba a pár kolegov, schovaj ho do súkromnej siete cez Tailscale, za firewall s povolenými IP adresami alebo aspoň za silné meno a heslo.
  2. Pull request a nezávislý agent pred nasadením. Reasoning podľa toho, aký veľký malér by bol, keby sa niečo prehliadlo: na jednoduché zmeny medium, na fakturáciu x-high. Vždy najvyšší reasoning je zbytočný žrút limitov.
  3. Viacerí kontrolóri od rôznych firiem. Napríklad jeden Claude Opus, druhý GPT-6.1 Sol. Každý kontroluje bezpečnosť, výkon a ďalšie dôležité veci.
  4. Deterministické kontroly, ako CRAP alebo akceptačné kritériá, ktoré ale stále spúšťa agent. CRAP meria to, čo bežné testy nie: aké riziko pridáva zmena do budúcnosti.
  5. Kontroly spúšťa systém, nie agent. Keď niečo nesedí, build zlyhá a nič sa nenasadí. Prahy mení iba človek.

Príklad z piatej úrovne: odtlačok (hash) obchodných podmienok. Povieš agentovi „prejdi celý projekt a oprav všetko, čo nájdeš“ a on si môže povedať, že prepíše aj podmienky. Systém z textu spraví odtlačok a porovná ho s uloženým. Keď sa zmení čo i len písmenko, nič sa nenasadí bez tvojho vedomia alebo bez právnika. Podmienka: uložený odtlačok ani samotnú kontrolu nesmie agent meniť, to schvaľuje len človek.

CRAP score zváž od tretej úrovne vyššie, hlavne ak robíš pre firmy alebo predávaš softvér. Keby som dostal do rúk starý projekt so špagetovým kódom a mal ho vyčistiť tak, aby sa nič nerozbilo, CRAP by som použil určite.

Čo urobiť hneď: akceptačné kritériá

Na každej úrovni ti pomôže jedna vec: akceptačné kritériá. To sú jasné, merateľné podmienky, ktoré si AI vie sama overiť. Nie „nech je web rýchly“, ale číslo.

Kontrolný zoznam s riadkami Lighthouse ≥ 90, obrázok ≤ 400 px a ≤ 50 kB, okolo neho kruhová šípka.

Napríklad: Lighthouse skóre výkonu na mobile 90 a viac (meranie rýchlosti stránky od Google), obrázky na blogu nie väčšie, ako sa reálne zobrazujú, napríklad max. 400 pixelov na šírku a 30 až 50 kilobajtov. Kritériá sa líšia úlohu od úlohy.

Napíš agentovi

Akceptačné kritériá pre túto úlohu: [napíš 2 až 5 merateľných podmienok, napr. Lighthouse skóre výkonu (Performance) na mobile 90 a viac ako medián z troch meraní, každý obrázok na blogu max. 400 px na šírku a max. 50 kB]. Na každé kritérium si napíš automatickú kontrolu a spúšťaj ju. Rob na úlohe, kým nie sú splnené všetky. Kontroly ani kritériá neupravuj, aby prešli. Ak niektoré kritérium splniť nejde, zastav sa a napíš mi prečo. Potom mi daj náhľad, nič nenasadzuj.

Najsilnejšie modely si na takéto kritériá samy napíšu deterministické testy a samy si ich spúšťajú. Ty už len odsúhlasíš, pripomienkuješ alebo zamietneš.

Časté otázky

Čo je CRAP score jednoducho povedané?

Číslo pre každú funkciu v kóde, ktoré kombinuje jej zložitosť a to, koľko z nej pokrývajú testy. Vysoké skóre znamená zložitý a slabo otestovaný kód. Taký sa ťažko mení a pri zmenách sa ľahko niečo rozbije.

Aké CRAP score je ešte v poriadku?

Bežná hranica je 30. Uncle Bob odporúča prísnejšie: ľudský kód pod 4, kód od agentov pod 6, maximálne 8. Začni tým, že znížiš najhoršie funkcie v kritických častiach, nie všetko naraz.

Prečo AI agent nedodržiava pravidlá v AGENTS.md?

Lebo jazykové modely sú nedeterministické a pokyny berú ako jeden z mnohých signálov v kontexte. Čím viac nástrojov a pravidiel naraz, tým väčšia šanca, že niečo odignoruje. Preto dôležité veci nekontroluj prosbou v prompte, ale automatickou kontrolou.

Je kvalita kódu z AI problém, aj keď appka funguje?

Dnes možno nie, neskôr skoro určite. Neprehľadný kód spomaľuje každú ďalšiu zmenu a agent ho berie ako vzor, takže sa bordel nabaľuje. Najviac to bolí pri appkách, ktoré majú bežať roky.

Čo si z toho zobrať

Agent ti nikdy nebude dodržiavať pravidlá na 100 %, nech ich napíšeš akokoľvek dôrazne. Čo musí platiť vždy, nechaj overiť deterministicky: CRAP score, mutation testy, akceptačné kritériá.

Skús si CRAP score pustiť na svojom projekte, hlavne ak ti beží už roky. Napíš mi pod video, koľko ti vyšlo. Som zvedavý, kto má väčšiu kopu hnoja.

Ešte si prečítaj

  1. Tvorba webu · 10 min · 926 pozretíWeb s AI: prečo ho skladať po blokoch
  2. Bezpečnosť · 9 min · 25 tis. pozretíVibe coding: 10 chýb, na ktoré si daj pozor
Všetky články