Beginnen met drie soorten criteria
Structurele criteria kunnen mechanisch worden gecontroleerd: een vereiste sectie bestaat, een minimum aantal toegankelijke bronnen is opgenomen, of de output volgt een schema.
Semantische criteria vereisen een oordeel over de betekenis: of een korte beschrijving betrekking heeft op de belangrijke subthema's, of een conclusie wordt ondersteund, of of een samenvatting de bronargument behoudt. Deze controles vereisen een expliciete beoordelaar en bewijs.
Menselijke criteria weerspiegelen autoriteit: of de bewijsrichting geschikt is voor de beslissing, of een risico aanvaardbaar is of of het eindresultaat moet worden bereikt.
Maak elk criterium waarneembaar
Een nuttig criterium wijst op iets wat de beoordelaar kan inspecteren. In plaats van het schrijven van het onderzoek is uitgebreid, schrijf de korte dekkingen prijzen, distributie en vraag van de klant, met ten minste twee bronnen per subthema
In plaats van het schrijven van het resultaat is nauwkeurig, te bepalen welke ondersteuning nodig is. Bijvoorbeeld: Elke materiële markt claim kaarten naar een genoemde bron en een geciteerde of samengevatte passage
Verberg geen menselijk oordeel
Sommige beslissingen kunnen niet worden teruggebracht tot een modelscore. Als een persoon het risico of de richting moet bezitten, codeer dat als een menselijk controlepunt in plaats van een evaluator te vragen om autoriteit na te bootsen.
Een menselijk criterium zou kunnen zijn: De gebruiker bevestigt dat het bewijsmateriaal de beoogde marktthesis ondersteunt voordat de definitieve formulering. Dat creëert een duidelijke pauze met een duidelijke eigenaar.
Toepassingen een klein, testbaar sjabloon
Het doel is niet om een perfect juridisch document te schrijven. Het is om het verschil te maken tussen "done" en "acceptable" inspectable voordat de uitvoering begint.
- Resultaat: Wat moet er aan het einde bestaan?
- Structuur: Wat moet aanwezig zijn of een schema volgen?
- Bewijs: Wat moet elke materiële claim ondersteunen?
- Grenzen: Wat mag niet worden gebruikt of gewijzigd?
- Menselijk besluit: Wat vereist uitdrukkelijke goedkeuring?