Erkennungs-Experimente
Schöpfung (Druck) und Il ritorno di Tobia (korrigiertes Autograph) — wie gut liest die Maschine Noten? Bericht vom 10. Juli 2026
Zusammenfassung
Zwei Vorlagen, zwei Methoden, zwei sehr unterschiedliche Fehlerquoten: Die gedruckte Schöpfung (Henle 2008, fotografiert) erreicht mit klassischer Notenerkennung (Audiveris) eine Erfassung von ca. 50–70 % — brauchbare Rohfassung, Nachkorrektur nötig. Das korrigierte Tobia-Autograph (Budapest, Ms.mus. I.18, datiert 1784) bleibt trotz exzellenter 400-dpi-Digitalisate und zweier unabhängiger KI-Blindleser bei 12–40 % Konfidenz je Takt (geschätzte Fehlerquote 40–70 %): maschinell heute nicht verlässlich lesbar. Die KI taugt am Autograph als „erster Schreiber“, nicht als Editor.
1. Methode (die Lessons learned aus der Sinfonie 85)
| Vorlage | Werkzeug | Warum |
|---|---|---|
| Druck (Schöpfung) | Audiveris 5.10.2, Batch-OMR, nach Vorverarbeitung (Schwarzrand-Beschnitt, Kontrast, Skalierung) | OMR ist auf Druckbild trainiert; die 100-Megapixel-Rohfotos wurden ohne Vorverarbeitung komplett verworfen |
| Handschrift (Tobia) | Zwei unabhängige KI-Blindleser (ohne Werkkenntnis, striktes Protokoll: Balken zählen, Konfidenz je Takt, keine Repertoire-Vermutungen), danach Schlichtung der Streicherstimmen | OMR scheitert an Handschrift völlig; Blindlesung verhindert, dass die KI Lücken aus Werkkenntnis „dazu erfindet“ — die Kardinallektion aus dem Sinfonie-85-Vergleich |
2. Schöpfung — Seiten 1–10 (Henle 2008)
8 von 10 Seiten wurden erfolgreich nach MusicXML exportiert (Seiten 7 und 9 scheiterten am Export, sehr dichte Systeme; Seite 4 ohne MEI — Konverterabsturz). Der Blick auf Seite 1 („Die Vorstellung des Chaos“) zeigt Stärken und Schwächen:
| Kriterium | Befund (Stichprobe S. 1) |
|---|---|
| Systeme, Taktarten, Tonarten (inkl. transponierender Stimmen) | weitgehend korrekt |
| Notentext | ca. 50–70 % erfasst — u. a. fehlen die Unisono-Ganzen des Anfangs teilweise |
| Instrumentnamen, Spielanweisungen (con sordino …) | verloren (alle Stimmen heißen „Voice“) |
3. Il ritorno di Tobia — Chor-Autograph (Budapest, 1784)
Ergebnis der Doppel-Blindlesung: Konfidenz nur 12–40 % je Takt; selbst die Taktzahl der Zeile war zwischen den Lesern strittig (6 vs. 7). Sicher erkannt wurden Besetzung, Tonart (1 ♭), Taktart (¢), die Kürzelschrift und die Grundgestalt (Sechzehntel-Lauf, Tremolo-Repetitionen); unsicher bleiben die meisten Tonhöhen der Binnenstimmen und alle korrigierten Takte. Die ausgelieferte Datei ist deshalb ausdrücklich eine Lesefassung des Streichergerüsts (T. 1–7), keine Edition.
Fehlerquoten im Vergleich — die Kernerkenntnis
| Vorlage | Methode | Fehlerquote (geschätzt) |
|---|---|---|
| Moderner Druck, fotografiert (Schöpfung) | Audiveris-OMR | ~30–50 % fehlend/falsch, Struktur stabil |
| Sauberes Autograph, Handyfoto (Sinfonie 85, früheres Experiment) | KI-Blindlesung | ~25–35 % Tokenfehler (32tel↔16tel, Auftakt, Leittöne) |
| Korrigiertes Autograph, 400 dpi (Tobia) | 2 KI-Blindleser + Schlichtung | ~40–70 % Tokenfehler — Korrekturen verdoppeln die Fehlerquote etwa |
4. Wie lässt sich das verbessern? Kann man es anlernen?
Ja — und zwar auf zwei Zeitskalen. Sofort wirksam, ganz ohne Training:
| Maßnahme (sofort) | Erwarteter Effekt |
|---|---|
| Leser-Ensemble statt Duo: 5–7 unabhängige Blindleser, Mehrheitsentscheid pro Takt | zufällige Lesefehler mitteln sich heraus; strittige Takte werden automatisch markiert |
| Iteratives Zoom-Protokoll: jeder unsichere Takt einzeln in 4×-Vergrößerung nachgelesen (unsere Leser brachen die Detail-Zooms ab) | gerade Balkenzahl (16tel vs. 32tel) und Vorzeichen profitieren am stärksten |
| Musikalischer Konsistenz-Kritiker als zweite Passe: Taktsummen, Stimmführung, Harmonik gegen die Lesung prüfen | arithmetisch unmögliche Takte (unser häufigster Fehlertyp) fallen sofort auf |
| Parallelstellen nutzen: Chöre wiederholen Material — spätere, saubere Vorkommen stützen die Lesung korrigierter Stellen | besonders wirksam bei Reprisen und Sequenzen |
| Sekundärquellen kollationieren: von Tobia existieren zeitgenössische Abschriften (u. a. Kopistenstimmen) und die Denkmäler-Edition | wie bei der Sinfonie 85: Referenz deckt systematische Fehler auf |
Und ja, man kann es anlernen — das ist der eigentlich spannende Forschungspfad, denn die Zutaten liegen bereit:
| Baustein | Konkret | Datenbedarf |
|---|---|---|
| A — aligniertes Trainingskorpus „Haydns Hand“ | Bibliotheks-Digitalisate der Haydn-Autographe (Berlin, Budapest) Takt für Takt gepaart mit dem kritischen Text, der für ~30 Sinfonien bereits maschinenlesbar existiert (Robbins Landon/Lanfear) — die Paare lassen sich halbautomatisch erzeugen | Machbarkeitsnachweis ab ~30–50 Seiten, robust ab 200–500 (deckt sich mit der Abschätzung auf der Autograph-Seite) |
| B — schreiberspezifisches Modell | Feintuning eines Vision-Modells (oder handschrift-adaptives OMR, aktueller Forschungsstand) auf genau diese Paare: Haydns Schlüsselformen, Notenköpfe, Kürzel, Korrektur-Gewohnheiten | profitiert überproportional, weil ein Schreiber viel konsistenter ist als „Handschrift allgemein“ |
| C — Mensch-in-der-Schleife | Seite-an-Seite-Korrekturwerkzeug (Digitalisat neben editierbaren Noten); jede menschliche Korrektur wird neues Trainingsbeispiel (aktives Lernen) | startet sofort, verbessert das Modell laufend |
Realistische Erwartung: Mit Ensemble + Konsistenz-Kritiker sollte die Fehlerquote des Tobia-Typs von 40–70 % in Richtung 20–30 % sinken; ein auf Haydns Hand trainiertes Modell könnte saubere Autographe in die Nähe der Druck-OMR bringen. Korrigierte Passagen bleiben die letzte Bastion des Philologen.
4.1 Erster Anlern-Versuch — heute durchgeführt
Wir haben das In-Context-Anlernen (Baustein A light) sofort getestet: Drei neue Blindleser erhielten vor der Tobia-Aufgabe zwei verifizierte Trainingsbeispiele von Haydns Hand (Ausschnitte des Sinfonie-85-Autographs samt gegen die kritische Edition geprüfter Lösung: „7.“-förmige punktierte Pausen, Leitton-Paare, 32tel-Leitern mit Bindung) sowie takt-genaue Zoom-Fenster statt langer Zeilenstreifen. Ergebnis gegen die ungeprimte Baseline:
| Metrik | Baseline (2 Leser, ungeprimt) | Geprimtes Ensemble (3 Leser) |
|---|---|---|
| Mittlere Konfidenz je Takt (Violino I) | ~22 % | ~29 % (bester Leser: 38 %) |
| Struktur (Schlüssel/Taktart/Vorzeichnung) | uneinheitlich (1 ♭ gelesen) | 3/3 einstimmig (2 ♭ — Revision der Baseline!) |
| Haydn-Idiome erkannt (32tel-Leiter mit Bindung, Leittonpaare, „7.“-Pausen) | als „unleserlich/Tremolo“ markiert | von allen Lesern identifiziert, bester Takt mit 50–55 % |
| Taktsegmentierung, Tonhöhen | strittig (6–7 Takte) | weiter strittig (7–8 Takte); Tonhöhen ±1 Stufe |
Befund: Schon zwei Trainingsbeispiele heben die Lesequalität messbar (+7–16 Konfidenzpunkte, einstimmige Strukturlesung, Idiom-Erkennung) — das Anlernen funktioniert also prinzipiell und skaliert mit den Bausteinen A–C (mehr verifizierte Seiten → Feintuning → Mensch-in-der-Schleife). Was es nicht löst: Tonhöhen- und Taktgrenzen-Unsicherheit im korrigierten Passagen — dafür braucht es die Sekundärquellen-Kollation und den Philologen.
4.2 Audiveris verbessern: Quellcode-Analyse + Benchmark-Studie mit Test-/Validierungsdaten
Quellcode-Befund: Wir haben den Audiveris-Quellcode (GitHub, v5.10.x) analysiert und die Stelle
gefunden, die unsere Schöpfungs-Fotos verwarf: ScaleBuilder.checkResolution() erklärt jede Seite
für ungültig, deren Notenlinien-Abstand außerhalb 11–100 Pixel liegt — die 100-Megapixel-Fotos
lagen darüber. Die Grenzwerte sind ohne Neukompilierung per -constant-Flag übersteuerbar;
robuster ist die Normalisierung in der Vorverarbeitung.
Benchmark-Studie: 6 Werke mit maschinenlesbarer Wahrheit (KernScores: Haydn-Sonaten/-Quartette, Mozart-Sonaten; 162–295 Noten je Stück) wurden sauber gerendert und künstlich degradiert (Unschärfe 1,4 px; Foto-Simulation: Rotation + Helligkeitsverlauf + JPEG). Split: 3 Stücke Validierung (zum Einstellen), 3 Stücke Test (ungesehen, finale Messung). Metrik: Noten-F1 (Tonhöhe+Dauer) per Sequenz-Alignment.
| Konfiguration | Validierung (F1) | Test, ungesehen (F1) | ||||
|---|---|---|---|---|---|---|
| sauber | unscharf | Foto | sauber | unscharf | Foto | |
| A — Audiveris pur | 0,71 | 0,02 | 0,06 | 0,65 | 0,02 | 0,19 |
| B — + Vorverarbeitung (Kontrast, Skalierung) | 0,79 | 0,06 | 0,10 | — | ||
C — B + -constant-Tuning | 0,79 | 0,06 | 0,10 | — | ||
| D — B + Schärfung + Binarisierung | 0,83 | 0,03 | 0,25 | 0,81 (+15 Pkt.) | 0,01 | 0,06 (schlechter als A!) |
Drei Erkenntnisse: (1) Die Vorverarbeitungs-Pipeline verbessert sauberen Druck robust und reproduzierbar (Test: 0,65 → 0,81) — das ist die bestätigte Verbesserung. (2) Unschärfe ist Audiveris’ Achillesferse: schon 1,4 px Weichzeichnung bedeutet Totalausfall (F1 ≈ 0,02) — hier hilft nur Deblurring oder Neutraining, nicht Parametertuning. (3) Der Wert des Test-Sets: Der scheinbare Foto-Gewinn von Konfiguration D (0,10 → 0,25 auf der Validierung) brach auf dem ungesehenen Test-Set zusammen (0,06, schlechter als die Baseline) — die harte Binarisierungsschwelle war auf die Validierungsstücke überangepasst. Ohne Test-/Validierungs-Trennung hätten wir eine „Verbesserung“ ausgeliefert, die real schadet. Nächster Schritt: adaptive Binarisierung (Sauvola) statt fester Schwelle.
4.3 Audio-Abgleich: die Aufnahme als Fehler-Detektor (Experiment durchgeführt)
Idee aus der Diskussion: eine Aufnahme des Werks als unabhängigen Zeugen nutzen. Umsetzung: Das OMR-Ergebnis von Schöpfungs-Seite 1 wurde in ein Tonklassen-Profil (Chroma) übersetzt und per Dynamic Time Warping gegen eine historische Aufnahme (Wiener Singverein, archive.org) ausgerichtet; Takte mit schlechter Übereinstimmung gelten als Verdachtsstellen. Ergebnis: Das Verfahren fand genau die bekannten Fehler — Takt 1 wird als „100 % leer“ entlarvt (die vom OMR verschluckten Unisono-Ganzen!), Takte 2–3 als inhaltliche Verdachtsstellen (Alignment-Kosten 0,66/0,59 gegenüber Mittel 0,42). Grenzen: oktavblind, empfindlich gegen Werkfassungen und Interpreten-Verzierungen — ein Korrektur-Kompass, keine Ground Truth. Zusammen mit dem geplanten KI-Nachkorrektor ergibt das die Schleife: OMR → Audio-Abgleich markiert Verdachtstakte → KI liest gezielt nach.
4.4 Der Quellcode-Fix: verlorene Ganze Noten (Marathon zum 99-%-Ziel)
Die offizielle Kontroll-Stichprobe (unabhängige Prüfer, 160 Zufallszellen, Wahrheit nur zur
Kontrolle) ergab zunächst ~67 % Noten-Genauigkeit auf den ersten 10 Seiten (43–88 %
je Seite) — und einen dominanten Fehlertyp: Ganze Noten werden als Pausen erkannt
(8 von 18 analysierten Fehlern). Die Quellcode-Analyse fand die Ursache in
NoteHeadsBuilder.java:
stemLessBoost = new Constant.Ratio(0, // Was 0.38, "How much do we boost stem-less heads")
Die Audiveris-Entwickler haben den Erkennungs-Bonus für halslose Köpfe — genau
Ganze Noten — irgendwann von 0,38 auf 0 abgeschaltet. Ohne Hals als Bestätigung fällt eine
Ganze Note bei schwachem Template-Match durchs Raster; der leere Takt wird beim Export zur Pause.
Reaktivierung per Laufzeit-Flag (-constant …stemLessBoost=0.38, ohne
Neukompilierung) brachte auf den Schöpfungs-Seiten sofort messbar Noten zurück:
| Seite | Leere Zellen | Erkannte Noten |
|---|---|---|
| 1 | 91 → 78 | 52 → 67 (die Unisono-Ganzen des Chaos-Beginns!) |
| 2 | 57 → 45 | 150 → 162 |
Der alternative Ansatz („Pausen-Sweep“: alle Nur-Pausen-Zellen per KI nachlesen) wurde pilotiert und verworfen — 0 wirksame Patches; der Quellcode-Fix ist der richtige Hebel. Nach Ausrollung des Fixes auf alle 8 exportierbaren Seiten liegt die Stichproben-Genauigkeit bei ~69 % (Stichprobenfehler bei 20 Zellen/Seite: ±10–15 Punkte — die harten Zählmetriken oben sind der verlässlichere Beleg). Stand zum 99-%-Ziel: ~69 % erreicht; nächste dokumentierte Schritte: größere Stichproben, Dauern-Fehlerklasse (halbe↔viertel), ♭-Vorzeichen, und die Seiten 7/9 (Audiveris-Timeout, Plan: Seiten halbieren).
5. Eigenes OMR-Programm schreiben? — Kern nein, Orchestrierung ja
In der Diskussion kam die Frage auf, ob man ein Werkzeug wie Audiveris selbst schreiben sollte und ob KI es besser kann. Die ehrliche, datengestützte Antwort aus unseren Experimenten:
| Vorlage | Audiveris (klassische OMR-Pipeline) | Multimodale KI (Blindlese-Protokoll) |
|---|---|---|
| Sauberer Druck (Schöpfung) | 50–70 % Erfassung, Sekunden/Seite, kostenlos | ähnliche Quote möglich, aber ~100× langsamer/teurer, Tonhöhen ±1 Stufe anfällig — Audiveris gewinnt |
| Handschrift/Autograph (Tobia) | 0 % — Seite wird komplett verworfen | 30–60 % mit Konfidenzangaben; versteht Kürzel („col Basso“), Korrekturen, Idiome; lernt aus 2 Beispielen dazu — KI konkurrenzlos |
Einen Audiveris-Klon zu schreiben lohnt nicht: ~20 Jahre Entwicklung (Staff-Detection, Symbol-Klassifikatoren, Takt-Arithmetik, Layout, Export) nachzubauen, um Parität im bereits gelösten Fall (sauberer Druck) zu erreichen, ist verlorene Zeit — auch gegenüber der aktiven End-to-End-OMR-Forschung. Die Stärken und Schwächen der beiden Ansätze sind komplementär: Die klassische Pipeline hat Pixel-Präzision, aber keinen Kontext; die KI hat Kontext (ein „col Oboe“ ist für Audiveris Tinte, für die KI eine Anweisung) und beziffert ihre Unsicherheit, hat aber keine Pixel-Präzision.
Sinnvoll ist der Hybrid — und der existiert hier bereits in Stufen:
| Stufe | Baustein | Status / erwarteter Effekt |
|---|---|---|
| 1 | Eigene Vorverarbeitung (Randbeschnitt, Kontrast, Skalierung) | umgesetzt — machte aus „0 von 14“ erst „8 von 10“ Seiten; der billigste Hebel |
| 2 | Arbeitsteilung: Audiveris für Druck, geprimtes KI-Ensemble für Handschrift | umgesetzt (Abschnitte 2–4) |
| 3 | KI als Nachkorrektor hinter Audiveris: liest gezielt nur die Stellen nach, wo OMR versagt (fehlende Ganze, Instrumentnamen, Dynamik, con sordino) | geplant — sollte die Druck-Quote von 50–70 % Richtung 85–90 % heben, zum Bruchteil der Kosten einer Volllesung |
| 4 | Haydn-spezifisches feingetuntes Modell (Bausteine A–C aus Abschnitt 4) | Forschungsprojekt — ein Modell für einen Schreiber ist ein viel kleineres Problem als „OMR für alles“ und wäre ein echter Beitrag: Audiveris kann Haydns Hand nie lesen, ein Haydn-Modell schon |
6. Alle Dateien zum Download
Formate: unkomprimiertes MusicXML (in Finale öffnen via Datei → Import → MusicXML — das native .mus-Format kann nur Finale selbst schreiben) und MEI (Verovio 6.2). Vollständiger Bericht: LIESMICH_Ergebnisbericht.md
- schoepfung_seite_001.mei
- schoepfung_seite_001.musicxml
- schoepfung_seite_002.mei
- schoepfung_seite_002.musicxml
- schoepfung_seite_003.mei
- schoepfung_seite_003.musicxml
- schoepfung_seite_004.musicxml
- schoepfung_seite_005.mei
- schoepfung_seite_005.musicxml
- schoepfung_seite_006.mei
- schoepfung_seite_006.musicxml
- schoepfung_seite_008.mei
- schoepfung_seite_008.musicxml
- schoepfung_seite_010.mei
- schoepfung_seite_010.musicxml