Rechnungsextraktion, gebaut um gemessen zu werden

Geld berührt nie eine Fließkommazahl, auch nicht in der Speicherung.

In binärer Fließkommadarstellung ist 0,1 plus 0,2 nicht 0,3. Dies ist ein Programm, dessen ganze Aufgabe darin besteht zu prüfen, ob Zahlen aufgehen, also wird eine Fließkommazahl an der Grenze abgewiesen statt stillschweigend umgewandelt, und die Datenbankspalte ist ein Dezimaltyp, der sie schon beim Binden zurückweist. Die naheliegende Abkürzung scheitert hier lautlos und erst Monate später, was die schlechteste verfügbare Kombination ist.

def process_bind_param(self, value: Any, dialect: Any) -> Any:
    if value is None:
        return None
    if isinstance(value, float):
        # Refused rather than converted. A float here means a caller
        # has already lost precision, and quietly accepting it would
        # store the loss and make it permanent.
        raise TypeError(
            "money must not be a float; pass a Decimal or a string of digits"
        )
    value = value if isinstance(value, Decimal) else Decimal(str(value))
    return str(value) if dialect.name == "sqlite" else value

Die Validierung kommentiert. Sie weist nie zurück.

Jede Regel gibt einen Befund zurück, statt einen Fehler zu werfen, denn im Betrieb ist die nützliche Ausgabe kein Bestanden oder Durchgefallen, sondern eine Liste, sortiert danach, wie sehr jedes Dokument einen Menschen braucht. Die Gewichte sind Teil des Codes und werden mit ihm ausgeliefert: Ein unlesbares Dokument sticht alles, ein Fehler sticht mehrere Warnungen, und Warnungen allein halten die Bearbeitung nie an. Weiche Befunde in die Warteschlange zu stellen erzieht Menschen dazu, eine Warteschlange abzuarbeiten, ohne sie zu lesen, und das ist schlimmer, als gar keine zu haben.

#: Nothing was read at all.
UNPARSED = 100

#: A document that contradicts itself. Three errors saturate the scale.
PER_ERROR = 30

#: Plausible but odd. Warnings alone cap below a single error.
PER_WARNING = 8

#: Highest score a parsed document can reach, so an unparsed one is
#: always first in the queue rather than tied with a very bad reading.
PARSED_CEILING = 99


def suspicion_score(findings: list[Finding], *, parsed: bool) -> int:
    """0-100, higher means look at this one first."""
    if not parsed:
        return UNPARSED

    errors = sum(1 for f in findings if f.severity is Severity.ERROR)
    warnings = sum(1 for f in findings if f.severity is Severity.WARNING)
    return min(PARSED_CEILING, errors * PER_ERROR + warnings * PER_WARNING)

Eine Rechnung trägt ihre eigene Prüfsumme, also nutzen Sie sie.

Die Positionen sollten sich zur Zwischensumme addieren, Zwischensumme plus Steuer sollte die Endsumme ergeben, und ein Fälligkeitsdatum sollte nicht vor seinem Rechnungsdatum liegen. Nichts davon braucht eine hinterlegte Wahrheit, und darum geht es: Es liefert ein Qualitätssignal auf unbeschrifteten Produktivdaten, wohin ein Benchmark-Wert nicht reicht. Es ist billig, deterministisch und beim Bauen vollkommen uninteressant, was ungefähr der Grund ist, warum die meisten Projekte es auslassen.

Die Datenbank speichert Extraktionsereignisse, keine Rechnungen.

Eine Zeile bedeutet: Dieser Provider hat dieses Dokument in diesem Moment gelesen und dies erhalten. Erneutes Lesen hängt einen Versuch neben den letzten, statt ihn zu überschreiben, sodass Konsistenz zu einer Abfrage über echten Verkehr wird statt zu einer Laborübung. Ein System, das nur den jeweils letzten Wert je Dokument speichert, hätte die Belege verworfen, bevor jemand auf die Idee kam, danach zu fragen.

Die Anwendung führt keine eigene Extraktion aus.

Alles läuft über dieselbe Provider-Grenze, die auch der Messaufbau nutzt. In dem Moment, in dem die Anwendung ein Dokument anders liest als der Messaufbau, beschreiben die veröffentlichten Zahlen nicht mehr das Produkt. Den Messaufbau und die Anwendung in einer Codebasis zu halten macht das strukturell schwierig, statt bloß davon abzuraten.

Die Ausgabegrammatik des Modells wurde absichtlich entfernt.

Die API kann ein Modell so einschränken, dass sich seine Antwort garantiert parsen lässt. Das war eingerichtet, und es verdeckte die Messung: Ein grammatikalisch eingeschränktes Modell kann keine unparsbare Ausgabe liefern, also hätte die Parse-Quote konstruktionsbedingt 100 Prozent betragen, und ein Teil der Qualitätsbewertung hätte den Decoder der API gemessen statt den Extraktor. Die Form wanderte in den Prompt, eine unparsbare Antwort zählt jetzt als Fehlschlag, und es gibt weder eine Reparaturstufe noch einen erneuten Versuch. Eine niedrige Parse-Quote ist ein Ergebnis.

Ein Wert, der sich nicht verorten lässt, wird als nicht gefunden gemeldet.

Die Prüfansicht zeichnet nie einen ungefähren Rahmen. Ein Rahmen an ungefähr der richtigen Stelle sagt der prüfenden Person, die Zahl sei geprüft worden, und der ganze Zweck dieser Maske ist, dass sie sie prüft.

56 % auf 70 %

Ein Fehler, gefunden durch einen Blick auf den Bildschirm und nicht durch die Tests.

Bei einer Rechnung ohne Steuerzeile ist die einzige Umsatzsteuerangabe auf der Seite die eigene Identifikationsnummer des Lieferanten im Briefkopf. Die Heuristik akzeptierte jeden Kandidaten, der eine Ziffer enthielt, und las so eine Kennnummer als Steuerbetrag von 148 Millionen Dinar. Zu verlangen, dass der Wert hinter einer Geldbezeichnung wie eine Zahl aussieht, hob die exakt extrahierten Dokumente von 56 auf 70 Prozent und die Validierungsquote von 80 auf 98 Prozent.

251

Bestandene Tests, die weder diesen Fehler noch den daneben ans Licht brachten.

Beide wurden gefunden, indem die laufende Anwendung geöffnet und der Bildschirm gelesen wurde. Drei weitere Layoutfehler kamen auf demselben Weg zum Vorschein, darunter ein fixierter Tabellenkopf, der die erste Zeile der Warteschlange verdeckte, sodass Klicks auf diese Zeile den Kopf trafen. Dieses Projekt prüft durch Messung, und Messung erfasst kein Layout.

2 von 2

Die Modelle des geplanten Vergleichs waren sich über ihre eigenen Parameter uneinig.

Das eine wies eine Aufwandseinstellung rundheraus mit einem 400 zurück. Das andere schaltete erweitertes Nachdenken ein, sofern man es nicht ausdrücklich untersagte, was Reasoning-Tokens zu Ausgabepreisen abgerechnet hätte, für eine Aufgabe, die Lesen ist und nicht Nachdenken. Eine fest verdrahtete Tabelle dazu veraltet mit der nächsten Modellveröffentlichung, also fragt der Provider die API, was das Zielmodell akzeptiert, und konfiguriert sich einmal je Lauf selbst.