Gewachsene Datenbestände zusammenführen, ohne Informationen zu verlieren

Wer gewachsene Datenbestände zusammenführen will, ohne dabei Informationen zu verlieren, darf keine Quelle bereinigen, bevor klar ist, was sie überhaupt aussagt. Hier waren es vier, über 150 Jahre gewachsen und ohne jede Verbindung untereinander. Handschriftliche Listen. Über Jahre von Menschen gepflegte Excel-Tabellen, mit menschlichen Fehlern und stillen Abweichungen von der eigenen Norm. Gedruckte historische Verzeichnisse in alter Typografie, teils mit anderen Schreibweisen derselben Namen. Und der SQL-Dump einer zwischenzeitlich eingesetzten Mitgliederdatenbank, der in seiner Rohform weder les- noch nutzbar war. Dazu tausende Scans und Fotos in Ordnerstrukturen, die über Jahrzehnte gewachsen waren.

Ein Ordner beantwortet genau eine Frage: Wo liegt die Datei? Die Fragen, die hier zählten, waren andere: Was ist das? Wer ist darauf zu sehen? Wer hat diesen Artikel geschrieben, und wer wird darin erwähnt?

Vier Quellen, eine Wahrheit

Der erste Schritt war keine Software, sondern eine Entscheidung: Keine der Quellen wird „bereinigt", bevor klar ist, was sie eigentlich aussagt. Jede Zeile bleibt als Rohwert erhalten. Ein dokumentierter Parser übersetzt die gewachsenen Notationen — Kürzel, Jahreszahlen, Klammervermerke — in ein strukturiertes Datenmodell. Vor jedem Schreibvorgang läuft ein Probelauf mit Abnahmebericht. Wo zwei Quellen sich widersprechen, wird der Konflikt markiert statt geraten.

Der sperrigste Fall war der Datenbank-Abzug: ein Export ohne die Anwendung, die ihn einmal lesbar gemacht hatte — Tabellen voller Kürzel und Verweise, deren Bedeutung nirgends dokumentiert war. Solche Bestände wirft man entweder weg oder rekonstruiert ihre Logik Feld für Feld, gegen die anderen Quellen geprüft. Es wurde die zweite Variante — und ausgerechnet dieser Abzug schloss am Ende Lücken, die keine andere Quelle abdeckte.

Das Ergebnis: über 25.000 Personendatensätze mit zehntausenden Mitgliedschafts-Einträgen, jede Änderung mit Alt- und Neuwert nachvollziehbar. Nicht, weil ein Audit-Log vorgeschrieben war — sondern weil man einem Bestand nur trauen kann, dessen Herkunft man prüfen kann.

Vom Scan zum erschlossenen Artikel

Die zweite Baustelle waren historische Zeitschriften: Magazin-Scans, aus denen einzelne Artikel werden sollten. Das klingt nach einem OCR-Problem, ist aber ein Struktur-Problem. Texterkennung liefert Zeichen — die Arbeit beginnt danach: Worttrennungen an Zeilenumbrüchen auflösen, Überschriften und Zwischenüberschriften erkennen, Tabellen und Bilder zuordnen, Lesereihenfolge über Spalten hinweg rekonstruieren.

Für Material aus verschiedenen Jahrzehnten funktioniert dabei kein Verfahren überall gleich gut. Deshalb wurden mehrere Erkennungs-Verfahren an denselben Seiten gemessen, mit handgeprüfter Referenz. Erst diese Messung entschied, welches Werkzeug welchen Jahrgang verarbeitet. Der eigentliche Wert entsteht in der Verknüpfung: Erkannte Artikel werden mit den Personendaten verbunden — wer schrieb, wer erwähnt wird. Aus einem PDF im Ordner wird ein Bestand, der Antworten gibt.

Gesichter im Archiv

Die dritte Ebene: Fotos. Über den Bildbestand läuft eine selbst betriebene, quelloffene Gesichtserkennung — auf eigener Hardware, kein Bild verlässt das System. Die Maschine schlägt vor, ein Mensch bestätigt; automatisch zusammengeführt wird bewusst nie. Wie aus einem Nachmittag Puzzlearbeit pro Gruppenfoto eine Sache von Minuten wurde, ist einen eigenen Bericht wert — hier zählt der Systemgedanke: Erst die Verbindung von Personendaten, Texten und Bildern macht aus drei Sammlungen ein Archiv.

Was sich daraus mitnehmen lässt

Erstens: Datenqualität ist kein Vorprojekt, sie ist das Projekt. Wer unsaubere Quellen „schnell importiert", betoniert die Fehler. Zweitens: KI gehört an die Stellen, wo sie messbar besser ist als eine Regel — und nirgendwo sonst. Drittens: Auditierbarkeit ist keine Bürokratie, sondern die Voraussetzung dafür, dass ein Bestand über Jahrzehnte glaubwürdig bleibt. Diese drei Prinzipien sind auf jeden gewachsenen Datenbestand übertragbar — ob Vereinsarchiv, Kanzleiakten oder die Produktdaten eines Unternehmens.