Anzeige

Auktionskataloge sind Provenienzforschern eine wichtige Quelle, um Kunstwerke eindeutig zu identifizieren. Ki-basierte Bildsuchverfahren könnten ihnen bald dabei helfen.

Automatischer Abgleichprozess zweier Abbildungen desselben Objekts im Detail. Hier: Deckelvase, Cornelius Funcke, um 1710. Foto © Germanisches Nationalmuseum, Nürnberg

Will man den Kunstmarkt der ersten Hälfte des 20. Jahrhunderts erforschen, kommt man an Auktionskatalogen nicht vorbei. Vor allem für die Provenienzforschung sind sie ein unverzichtbares Recherchemittel: Sie dokumentieren, woher ein Kunstwerk stammt, wem es einst gehörte und in wessen Besitz es oft über mehrere Jahrhunderte hinweg wechselte. Mit „German Sales“ wächst seit rund zehn Jahren eine Datenbank heran, die Informationen zum historischen Kunstmarkt in Deutschland, Österreich und der Schweiz digital erfasst und zentral sammelt. Auftakt dafür war ein Kooperations­projekt der Universitätsbibliothek Heidelberg, der Kunst­bi­bliothek der Staatlichen Museen zu Berlin sowie des Getty Research Institute in Los Angeles. Mittlerweile sind hier rund 11.000 Auktionskataloge sowie Galerie-, Lager- und Antiquariatskataloge online sowie im Open Access verfügbar.

Im Auftrag des Landschaftsverbandes Rheinland (LVR) haben jetzt Wissenschaftlerinnen und Wissenschaftler des Fraunhofer IPK untersucht, inwiefern moderne Computer-Vision-Verfahren bei der Recherche von Kunstobjekten in solchen digitalen Auktionskatalogen helfen können. Eine automatisierte Identifizierung von Kulturgütern bzw. Kunstobjekten in Online-Katalogen würde es vereinfachen, Aufenthaltsorte von Objekten zu be­stimmten Zeiten sowie hinterlegte Daten in den Publikationen recherchierbar zu machen und auf diese Weise wertvolle Informationen zu Besitzerinnen und Besitzern zu erhalten.

Im Rahmen einer Machbarkeitsstudie entwickelten die Fraunhofer-Forscher dafür KI-basierte Bildsuchverfahren, die den zuverlässigen Abgleich von Bildern bzw. Kunstobjekten ermöglichen. Validiert wurden die Verfahren anhand von Bildpaaren, die jeweils Treffer zwischen Auktionskatalogen und anderen digitalen Bildsammlungen darstellen. Dabei standen die Wissenschaftler vor der Herausforderung, dass Abbildungen ein und desselben Kunstobjekts je nach Aufnahmedatum und -technik, Bildqualität, Perspektive oder auch der Objektart selbst (2D oder 3D) zum Teil stark variieren.

Die Aufbereitung und Qualitätssicherung der Bilddaten spielt deshalb eine zentrale Rolle im Projekt. Das beginnt bereits bei der Extraktion der Abbildungen aus den über 11.000 Auktionskatalogen der „German Sales“-Datenbank. Aufgrund der vielen Bildmengen wäre eine rein händische Bearbeitung sehr aufwendig und teuer. Deshalb setzen wir modernste Computer-Vision-Methoden ein, die sich bereits bei der automatisierten Analyse und Segmentierung von Dokumenten bewährt haben, und passen sie mittels KI an die Besonderheiten von historischen Bildaufnahmen an.

Die Ergebnisse der Machbarkeitsstudie sind vielversprechend: Rund 560.000 Abbildungen von Gemälden und Skulpturen, kunstgewerblichen Artikeln, aber auch Alltagsgegenständen wie Möbel oder Besteck können mit den Fraunhofer-Verfahren in wenigen Sekunden durchsucht werden.

Dabei werden für jedes einzelne Objekt KI-basierte Bildmerkmale erhoben, um eine hohe Erkennungsrate trotz der hohen Variabilität in Art und Qualität der Auf­nahmen zu erzielen. Die Bildeigenschaften, die auf unterschiedlichen Skalen automatisch analysiert werden, reichen von Konturen und Texturen bis hin zu Objektdetails wie dem Auge einer abgebildeten Person. Dank der Adaptionsfähigkeit der KI-basierten Verfahren gelingt dabei auch ein Abgleich zwischen aktuellen und historischen Bildaufnahmen, die eine wesentlich niedrigere Bildqualität aufweisen.

Die Fraunhofer-Experten stellen mit ihrer Machbarkeitsstudie unter Beweis, dass KI-basierte Bildsuchverfahren auch für die Provenienzforschung geeignet sind. Für den nächsten Schritt, die Entwicklung einer prototypischen Softwarelösung, suchen die Wissenschaftler derzeit nach Museen, Stiftungen und Bibliotheken, die die Herkunft und Besitzgeschichte ihrer Kulturgüter effizienter recherchieren und dokumentieren möchten. 

Dr. Bertram Nickolay Bis 2020 Leiter der Abteilung Maschinelles Sehen im Fraunhofer IPK Berlin Raul Vicente-Garcia Projektleiter im Fraunhofer IPK Berlin Aus: FUTUR 2 / 2021, 23. Jahrgang, ISSN 1438-1125.

Anzeige

Anzeige