Eine Edition, die ihre Genauigkeit beziffert, verspricht mehr, als sie halten kann — wenn sie nicht zugleich sagt, wie die Zahl zustande kommt und was sie nicht sagt. Dieser Beitrag legt die Probleme offen, auf die dieses Projekt beim Versuch gestoßen ist, die Fehlerrate seiner maschinellen Transkriptionen zu bestimmen. Es sind keine Sonderfälle dieser Werkstatt; es sind die Probleme jeder automatisierten Gütemessung, hier nur an einem konkreten Bestand durchgerechnet.
1. Es gibt kein Orakel
Um Fehler zu zählen, braucht man einen Referenztext, von dem man weiß, dass er stimmt. Für eine Ersttranskription existiert er nicht — sonst bräuchte man nicht zu transkribieren. Die einzige Instanz ist das Druckbild selbst. Aber das Druckbild vergleicht sich nicht von allein mit dem Transkript: Jemand muss es lesen, Mensch oder Maschine, und dieses Lesen kann selbst irren. Was immer am Ende als „gemessene Fehlerrate“ dasteht, ist darum genau genommen keine Rate von Fehlern, sondern eine Rate von Abweichungen zwischen zwei fehlbaren Lesungen. Das ist keine Spitzfindigkeit; es ist der Grund für alles Folgende.
2. Doppelerfassung misst Uneinigkeit, nicht Wahrheit
Das Prüfverfahren dieser Edition ist die unabhängige Doppelerfassung: Eine Zufallsstichprobe von Seiten wird ein zweites Mal transkribiert, ohne Kenntnis der ersten Fassung; beide Fassungen werden maschinell verglichen, und jede Abweichung wird am vergrößerten Druckbild entschieden. Das Verfahren findet zuverlässig alles, worin sich die beiden Lesungen uneinig sind. Was es prinzipiell nicht finden kann, ist der Fehler, den beide übereinstimmend machen.
Bei zwei maschinellen Lesungen ist solche Übereinstimmung im Irrtum nicht die Ausnahme, mit der man leben muss, sondern der Normalfall, mit dem man rechnen muss: gleiche Modellfamilie, gleiche Anweisungen, gleiche systematische Schwächen. Ein Befund aus dieser Werkstatt macht das anschaulich. Als geprüft wurde, ob ein zweites, anderes Sprachmodell die Erfassung übernehmen kann, transkribierte es drei bereits erfasste Seiten blind neu — 1292 Wörter, zwei Abweichungen. Beide Abweichungen waren derselbe Fehlertyp, und zwar genau der charakteristische Fehlertyp des ersten Modells: ein kurzes, normal gesetztes Bindewort inmitten einer gesperrten Wendung wurde fälschlich mitausgezeichnet. Verschiedene Modelle dekorrelieren die Fehlerklassen also nicht einfach; die geteilte Schwäche liegt nicht im einzelnen Modell, sondern in der Aufgabe selbst — der Buchstabenabstand kurzer Wörter ist im Druck objektiv mehrdeutig. Die Konsequenz für die Statistik ist ernüchternd: Alle Zahlen aus Doppelerfassungen sind Obergrenzen der Güte, keine neutralen Schätzer.
3. Kleine Zähler tragen keine Nachkommastellen
In den Stichproben zu GW 12 und GW 21 stand je ein Wortfehler auf rund 7000 geprüfte Wörter. Daraus wurden 99,982 % und 99,986 % — Zahlen, die präziser aussehen, als sie sind. Ein Ereignis in 6941 Beobachtungen ergibt nach Clopper-Pearson ein 95-%-Vertrauensintervall für die Fehlerrate von etwa 0,0004 % bis 0,08 % — die Wortgenauigkeit liegt also irgendwo zwischen 99,92 % und 99,9996 %. Die dritte Nachkommastelle der Punktwerte trägt keine Aussage, und ein Unterschied zwischen den Bänden ist damit nicht belegt.
| Aussageform | Beispiel (1 Fehler / 6941 Wörter) |
|---|---|
| Punktwert | „99,986 %“ — suggeriert fünf sichere Stellen |
| Intervall | „zwischen 99,92 % und 99,9996 %“ — das ist der Wissensstand |
| Nicht gesagt | gemeinsame Fehler beider Lesungen; schwere Seitentypen; Sonderklassen |
Noch härter trifft es seltene Klassen. Gesperrte Hervorhebungen machen nur wenige Prozent aller Wörter aus; eine 20-Seiten-Stichprobe enthält davon nur einige hundert. Selbst ein makelloses Ergebnis — „100 % richtig gesetzt“ in GW 21 — bedeutet nach der Dreierregel (kein Fehler in n Fällen → wahre Rate mit 95 % Vertrauen unter 3/n) nur: Die Fehlerrate der Klasse liegt vermutlich unter einem knappen Prozent. „100 %“ und „mindestens etwa 99 %“ sind zwei sehr verschiedene Sätze; die Stichprobe deckt nur den zweiten.
4. Fehler sind nicht gleich Fehler
Als GW 12 nach Abschluss an 498 Auszeichnungen nachgemessen wurde, standen 10 fälschlich gesetzten Hervorhebungen genau eine übersehene gegenüber — ein Verhältnis von zehn zu eins. Eine einzige „Genauigkeit“ verdeckt diese Asymmetrie: Präzision und Vollständigkeit gehen auseinander, und für eine Edition wiegen sie verschieden. Eine falsche Hervorhebung behauptet eine Betonung, die Hegel nicht gesetzt hat; eine übersehene schweigt nur. Welche Kennzahl man wählt, ist darum keine statistische, sondern eine editorische Entscheidung — und sie verändert die Zahl. Aus dem gemessenen Verhältnis folgt hier eine Arbeitsregel, die inzwischen in der Erfassungsanweisung steht: Im Zweifel keine Auszeichnung.
5. Das Messwerkzeug misst sich nicht selbst
Der naheliegende Ausweg ist, das Prüfen zu automatisieren. Für den Sperrsatz tut die Werkstatt das: Ein Skript vermisst den Buchstabenabstand jedes Wortes im Seitenbild, verankert die Zeilenzuordnung an den gedruckten Randziffern und meldet, wo die Transkription von der Messung abweicht. Das ersetzt Urteil durch Geometrie — aber die Geometrie hat ihre eigenen, dokumentierten Schwächen: Wörter unter vier Buchstaben sind nicht sicher messbar; anhängende Satzzeichen verbreitern das Maß; stark gesperrte Wörter zerfallen dem Werkzeug in zwei Gruppen und verschieben die Wortzählung; Abkürzungen wie „d. h.“ registrieren als gesperrt, weil zwischen ihren Gliedern echter Zwischenraum steht.
Damit hat der Prüfer selbst eine Fehlerrate — und wer sie bestimmen will, braucht eine geprüfte Referenz, die wiederum einen Prüfer braucht. Dieser Regress endet nicht von selbst; man kann ihn nur pragmatisch abschneiden. Die Werkstatt tut es so: Das Werkzeug ist Vorfilter, der Augenschein am vergrößerten Druckbild ist letzte Instanz. Das ist vernünftig — und heißt zugleich, dass die letztlich berichtete Rate auf der einen Komponente ruht, die nie selbst vermessen wurde.
6. Zensus schlägt Stichprobe — aber nur, wo er sieht
Nachdem die Stichprobe für GW 12 rund 2 % falsch gesetzte Hervorhebungen nahegelegt hatte, wurde der ganze Band nachgemessen: jedes ausgezeichnete Wort gegen den Buchstabenabstand seiner eigenen Druckzeile, alle rund 8250 Fälle. 92 Auszeichnungen behaupteten eine Sperrung, die im Druck nicht steht; sie wurden entfernt. Ein Zensus ist der Stichprobe überlegen — aber nur in dem Bereich, den das Instrument sieht. Seine blinden Flecken, die kurzen Wörter, sind ausgerechnet die Region, in der die meisten Fehler wohnen. Der Band ist seit dem Zensus besser als vorher; wie viel besser, ist nicht gemessen, und die ehrliche Auskunft lautet genau so.
7. Die Stichprobe zieht, was leicht ist
Zufallsstichproben aus einem Band ziehen überwiegend das, woraus der Band überwiegend besteht: laufende Prosa. Die schweren Seitentypen — Verzeichnisse, Tabellen, Titeleien, formelnahe Passagen — sind selten und darum in der Stichprobe unterbesetzt oder gar nicht vertreten. Die geschätzte Rate gilt streng genommen nur für die leichte Schicht. Dazu kommt ein Überlebenseffekt: Seiten, deren Fehler laut ausfallen, werden gefunden und korrigiert; Seiten, deren Fehler leise sind, bleiben. Der Bestand wird mit jeder Prüfung besser — aber die Verbesserung konzentriert sich dort, wo die Instrumente hinsehen können.
Was daraus folgt
Fünf Regeln, nach denen diese Edition ihre Zahlen berichtet:
- Keine Zahl ohne Verfahren. Wer 99,98 % sagt, muss sagen, wie gezählt wurde — und gegen welche Referenz.
- Intervalle statt Nachkommastellen. Ein Fehler in 7000 Wörtern ist ein Intervall, kein Punkt.
- Obergrenzen als Obergrenzen. Doppelerfassungen unter korrelierten Fehlern beziffern die Uneinigkeit, nicht den Irrtum.
- Fehlerarten trennen und die Asymmetrie in die Arbeitsregeln einbauen — hier: im Zweifel kein Stern.
- Zensus, wo das Instrument trägt; Stichprobe mit Doppelerfassung, wo nicht; Augenschein als letzte Instanz — im Wissen, dass genau diese Instanz unvermessen bleibt.
Die ehrliche Formel ist darum nicht: „Der Text ist zu 99,99 % richtig.“ Sie lautet: Zwischen zwei unabhängigen maschinellen Lesungen desselben Drucks liegt eine Abweichung auf mehrere tausend Wörter, jede bekannte Abweichung ist am Druckbild entschieden, und jede ausgezeichnete Hervorhebung ist gegen den gemessenen Buchstabenabstand ihrer Zeile geprüft. Was darüber hinausgeht, ist nicht Gewissheit, sondern kontrolliertes Nichtwissen — und es scheint uns besser, seine Grenzen zu nennen, als sie mit Nachkommastellen zu verdecken.
Die genannten Messungen: GW 12/21-Stichproben je 20 Seiten (≈ 7000 Wörter, unabhängige Zweiterfassung); GW 12-Nachmessung an 498 Auszeichnungen (10 falsch, 1 übersehen); GW 12-Zensus über ≈ 8250 Auszeichnungen (92 entfernt); Modellvergleich an 3 Seiten (1292 Wörter, 2 Abweichungen desselben Typs). Details in den Beiträgen v0.30 und v0.31.
← Alle Einträge