Beginnen Sie mit drei Arten von Kriterien
Strukturelle Kriterien können mechanisch überprüft werden: Ein erforderlicher Abschnitt ist vorhanden, eine Mindestanzahl zugänglicher Quellen ist enthalten oder die Ausgabe folgt einem Schema.
Semantische Kriterien erfordern ein Urteil über die Bedeutung: ob ein Schriftsatz die wichtigen Unterthemen abdeckt, ob eine Schlussfolgerung unterstützt wird oder ob eine Zusammenfassung das Argument der Quelle bewahrt. Diese Überprüfungen erfordern einen expliziten Bewerter und Beweise.
Menschliche Kriterien spiegeln Autorität wider: ob die Evidenzrichtung für die Entscheidung angemessen ist, ob ein Risiko akzeptabel ist oder ob das Endergebnis geliefert werden sollte.
Machen Sie jedes Kriterium beobachtbar
Ein nützliches Kriterium weist auf etwas hin, das der Rezensent inspizieren kann. Anstatt zu schreiben "die Forschung ist umfassend", schreiben Sie "die kurze deckt Preis, Verteilung und Kundennachfrage, mit mindestens zwei Quellen pro Unterthema."
Anstatt zu schreiben "das Ergebnis ist korrekt", definieren Sie, welche Unterstützung erforderlich ist. Zum Beispiel: "Jeder Materialmarktanspruch wird einer benannten Quelle und einer zitierten oder zusammengefassten Passage zugeordnet."
Verberge kein menschliches Urteil
Manche Entscheidungen lassen sich nicht auf einen Model Score reduzieren. Wenn eine Person das Risiko oder die Richtung besitzen muss, kodieren Sie das als menschlichen Kontrollpunkt, anstatt einen Bewerter zu bitten, Autorität zu imitieren.
Ein menschliches Kriterium könnte sein: "Der Benutzer bestätigt, dass die Beweise die beabsichtigte Marktthese vor der endgültigen Ausarbeitung unterstützen." Das schafft eine klare Pause mit einem klaren Besitzer.
Verwenden Sie eine kleine, testbare Vorlage
Das Ziel ist nicht, ein perfektes juristisches Dokument zu schreiben. Es ist, den Unterschied zwischen "fertig" und "akzeptabel" inspizierbar zu machen, bevor die Ausführung beginnt.
- Ergebnis: Was muss es am Ende geben?
- Struktur: Was muss vorhanden sein oder einem Schema folgen?
- Beweis: Was muss jeden materiellen Anspruch stützen?
- Grenze: Was darf nicht verwendet oder geändert werden?
- Menschliche Entscheidung: Was erfordert eine ausdrückliche Zustimmung?