Modelvalg · størrelse vs. regeloverholdelse

Regeloverholdelse er ikke en evne du køber med størrelse — det er en egenskab ved arkitekturen.

En større model er ikke automatisk mere lovlydig. Det afgørende tal er hverken størrelsen eller antallet af regler — det er C = konkurrerende direktiver pr. tur: hvor mange krav der strides om modellens opmærksomhed i det samme svar. Uafhængige regler koster næsten ingenting; det er konkurrencen mellem dem, der får overholdelsen til at falde.

Fit til jeres opgave er en omvendt U — ikke en stigende linje
FOR LILLE kan ikke anvende reglen — selv alene FOR STOR dyr · ikke on-prem mere CO2 · unødvendig DET RIGTIGE VALG mindste model hvis kapacitet rydder jeres C med margin lille stor → MODELSTØRRELSE VÆRDI FOR PENGENE

Hvad størrelse KØBER

  • Hovedhøjde til kompleksitet. En større model tåler flere konkurrerende direktiver, før overholdelsen halverer. Retningsgivende på de modeller vi har målt (ikke en lov): kapacitet ≈ 14 ved 7B · 28 ved 70B · 42 ved en stor cloud-model.
  • Bredere dækning på opgaver der kræver tungt ræsonnement eller et bredt vidensfelt.
  • Men det er plads — ligger jeres opgaves C under den lille models loft, betaler I for kapacitet I aldrig rører.

Hvad størrelse IKKE køber

  • Sikkerhed. Den kommer fra gates og kalibrering, ikke fra størrelse. Arkitekturen er bygget til at få en for lille model til at afstå ("det står ikke i håndbogen — spørg HR") frem for at gætte. Underdimensionering flytter altså mest risiko fra dækning, men fjerner den ikke af sig selv — gates og verifier skal fange fabrikation når den sker.
  • Bedre overholdelse, hvis jeres C allerede er ryddet — man kan ikke overstige 100 % på de regler der betyder noget.
  • Færre falske afvisninger — størrelse alene afgør det ikke. Over-afvisning styres af gates og kalibrering og afhænger af domænet: i safety-nære domæner kan store, alignede modeller over-afvise mere, mens over-afvisning i et almindeligt regel- og HR-domæne tværtimod er værst på de små. Måling, ikke størrelse, afgør det.

Vælg større når

jeres C stadig er højt, efter vi kun viser de relevante regler pr. spørgsmål — eller opgaven i sig selv kræver tungt ræsonnement og bred dækning.

Vælg mindre når

regelsættet er velformet og scopet, og on-prem/datasuverænitet, latenstid, pris og revisérbarhed vejer tungere end den sidste procent dækning.

“Vi måler hvor mange konkurrerende krav jeres opgave faktisk lægger på modellen pr. tur, og vælger den mindste model der klarer det med margin. Sikkerheden kommer fra gates og kalibrering, som I selv kan måle og revidere.”

1Sænk C: vis kun de turrelevante regler pr. spørgsmål.
2Mål C: hvor mange direktiver strides der reelt om pr. tur.
3Vælg modellen: mindste kapacitet > jeres C + margin, over gulvet.