Tone Mapping

Tone Mapping, Tone Reproduction oder Dynamikkompression sind synonyme Begriffe, die die Kompression des Dynamikumfangs von Hochkontrastbildern (high dynamic range images) bezeichnen, also von digitalen Bildern mit hohem Helligkeitsumfang. Beim Tone Mapping wird der Kontrastumfang eines Hochkontrastbildes verringert, um es auf herkömmlichen Ausgabegeräten darstellen zu können.

Physiologischer Hintergrund

In der Natur kommt ein Dynamikumfang (Verhältnis von größter und kleinster Leuchtdichte) von über 10⁹:1 vor, wenn man das Sonnenlicht mit dem Sternenlicht vergleicht. Der zu einem bestimmten Zeitpunkt typischerweise beobachtete Dynamikumfang liegt in der Größenordnung von 1:10.000. Die menschliche visuelle Wahrnehmung löst das Tone-Mapping-Problem, da sie in der Lage ist, sich den vorherrschenden Helligkeitsverhältnissen anzupassen. Auf unterschiedliche absolute Helligkeitsbedingungen (photopisch, mesopisch, skotopisch) reagiert das Auge nichtlinear.

Viele Tone-Mapping-Verfahren basieren auf den Erkenntnissen über die menschliche visuelle Wahrnehmung, da ihr Ziel darin besteht, ein möglichst naturgetreu wirkendes Bild zu berechnen. Die wichtigste Rolle spielen dabei die Fotorezeptoren, deren Adaptation sich nach der Naka-Rushton-Gleichung wie folgt beschreiben lässt:

Hierbei ist die Fotorezeptor-Reizstärke, ist die maximale Reizstärke, ist die Lichtstärke und die Lichtstärke, die die halbe Reizstärke bei der vorherrschenden Hintergrundintensität hervorruft. Mehrere Tone-Mapping-Verfahren basieren auf einer Gleichung, die dieser ähnelt.

Verfahren

Es existieren zahlreiche Tone-Mapping-Operatoren, die sich jedoch nur in wenige grundlegend verschiedene Klassen einteilen lassen. Sogenannte globale Operatoren verwenden eine Funktion, die jedem HDR-Wert einen dynamikkomprimierten Wert zuweist und die auf jedes Pixel angewandt wird. Im Gegensatz dazu wird bei lokalen Operatoren diese Funktion für jedes Pixel je nach lokalem Adaptationsniveau variiert. Frequenzbasierte Operatoren nutzen eine grundlegend andere Technik, bei der der Dynamikumfang von Bildregionen je nach Ortsfrequenz reduziert wird. Schließlich gibt es noch gradientenbasierte Operatoren, die die Helligkeitsgradienten des Ausgangsbildes für jedes Pixel abschwächen, um das LDR-Bild (Bild mit geringem Helligkeitsumfang) zu erzeugen.

Viele Operatoren erwarten, dass die Werte des Ausgangsbildes als Leuchtdichte in einer bestimmten Einheit (cd/m²) kalibriert sind. Das liegt daran, dass die nichtlineare Wahrnehmung von absoluten Helligkeiten berücksichtigt wird; eine Tageslichtszene wird demnach anders dargestellt als eine Nachtszene. Es ist jedoch oft möglich, die originalen Lichtverhältnisse direkt anhand des HDR-Bildes zu rekonstruieren, indem das Histogramm ausgewertet wird. Die meisten Tone-Mapping-Verfahren ignorieren die Farbwahrnehmung weitgehend und wenden den neuen Helligkeitswert auf alle Kanäle gleich an.

Ein HDR-Bild nach Anwendung vier verschiedener Tone-Mapping-Operatoren (im Uhrzeigersinn: Reinhard, Fattal, Mantiuk, Reinhard/Devlin)

Globale Operatoren

Globale Operatoren verarbeiten die Pixel des Ausgangsbildes unabhängig voneinander. Sie sind schneller als andere Verfahren und können oft in Echtzeit ausgeführt werden. Allerdings eignen sie sich weniger gut für Szenen mit sehr großem Dynamikumfang, da sie eher dazu neigen, in sehr hellen und sehr dunklen Bereichen Details zu verlieren.

Viele globale Operatoren basieren auf Adaptationsmodellen, bei denen die Hintergrundintensität bekannt sein muss. Diese Intensität kann abgeschätzt werden, indem das arithmetische Mittel der Pixelwerte berechnet wird, das geometrische Mittel ist jedoch die bevorzugte Methode.

Der einfachste globale Operator rechnet die Werte des Ausgangsbildes linear auf den Dynamikumfang des LDR-Bildes herunter. Dieses Verfahren ist jedoch unzureichend, da Details und Kontrast verlorengehen.

Lokale und frequenzbasierte Operatoren

Typische Halo-Artefakte beim Tone Mapping mit einem veralteten lokalen Operator

Lokale Operatoren können eine große Klasse von HDR-Bildern verarbeiten, da sie einen größeren Dynamikumfang darstellen können, ohne Details zu verlieren. Sie gehen davon aus, dass die menschliche Helligkeitswahrnehmung sich nicht dem gesamten Bild anpasst, sondern nur kleineren Regionen.

Um den lokalen Helligkeitswert für jedes Pixel zu berechnen, kann ein radialer Filter verwendet werden, der auf die Nachbarpixel angewandt wird. Diese Methode führt jedoch zu Halo-Artefakten und Kontrastumkehrungen nahe Kanten, da dort zu große Helligkeitsunterschiede innerhalb des Filterradius vorherrschen. Um dieses Problem zu umgehen, können unterschiedliche Methoden verwendet werden:

• Eine Möglichkeit besteht darin, den Filterradius zu variieren. Der Radius des Filters wird, ausgehend vom Wert 1, so lange verdoppelt, bis die Pixel der Kante das Ergebnis verfälschen, also wenn der neue Mittelwert von alten um einen bestimmten Wert abweicht.
• Eine andere Möglichkeit ist die bilaterale Filterung. Hierbei wird mittels radialem Filter nicht nur in Abhängigkeit von der Entfernung zum zentralen Pixel, sondern auch in Abhängigkeit von der absoluten Differenz der Helligkeitswerte gefiltert. Pixel, deren Werte sich stark von dem des zentralen Pixels unterscheiden, haben dadurch nur wenig Einfluss auf das Ergebnis. Durand und Dorsey verwenden für beide Faktoren Gaußfunktionen; Pattanaik und Yee verwenden für den radialen Faktor eine Zylinderfunktion und für den Helligkeits-Faktor eine Exponentialfunktion.
• Die bilaterale Filterung tendiert dazu, abrupte Änderungen des Helligkeitsgradienten weichzuzeichnen. Andererseits werden kurvige Bereiche und Regionen mit hohem Gradienten nicht genügend weichgezeichnet. Choudhury und Tumblin haben mit der trilateralen Filterung eine Erweiterung vorgestellt, die auch Helligkeitsgradienten berücksichtigt.

Zur Bestimmung des optimalen Filterradius kann eine Reihe von Tiefpass-gefilterten Versionen des Ausgangsbildes verwendet werden.

Frequenzbasierte Operatoren teilen das Ausgangsbild in ein gefiltertes HDR-Bild mit geringen Ortsfrequenzen und ein ungefiltertes LDR-Bild mit hohen Frequenzen auf, die anschließend kombiniert werden. Allerdings kann das gefilterte Bild auch so interpretiert werden, dass jedes Pixel einen lokalen Adaptationswert liefert. Daher lässt sich nicht immer klar zwischen lokalen und frequenzbasierten Operatoren trennen.

Gradientenbasierte Operatoren

Diese Klasse von Tone-Mapping-Operatoren berechnet die Gradienten des Ausgangsbildes und schwächt sie ab.

Vergleich

Tone-Mapping-Operatoren unterscheiden sich in Geschwindigkeit, Vorhandensein und Stärke von Artefakten, Beibehaltung von Bilddetails sowie der Fähigkeit, HDR-Bilder mit sehr großem Dynamikbereich komprimieren zu können. Einige Studien befassen sich mit dem Vergleich von Tone-Mapping-Verfahren. Die Internationale Beleuchtungskommission hat das Arbeitskomitee TC8-08 gebildet, um Methoden zur Validierung von Tone-Mapping-Operatoren zu entwickeln. Beim visuellen Vergleich verschiedener Operatoren ergibt sich die Schwierigkeit, dass Änderungen an Parametern große Auswirkungen auf das Ergebnis haben können.

Literatur

• Erik Reinhard u. a.: High Dynamic Range Imaging. Morgan Kaufman, San Francisco 2006, ISBN 0-12-585263-0

Weblinks

• Evaluation of Tone Mapping Operators (englisch)
• Erik Reinhards Kommentar zu unnatürlichen Tone-Mapping-Parametereinstellungen (englisch)

Einzelnachweise

1. Reinhard u. a.: High Dynamic Range Imaging, S. 187
2. Rafał Mantiuk u. a.: A Perceptual Framework for Contrast Processing of High Dynamic Range Images. In Proceedings of Second Symposium on Applied Perception in Graphics and Visualization 2005, S. 87–94. ACM Press, New York 2005, ISBN 1-59593-139-2
3. Reinhard u. a.: High Dynamic Range Imaging, S. 212
4. Gene Miller, C. Robert Hoffmann: Illumination and Reflection Maps: Simulated Objects in Simulated and Real Environments. In SIGGRAPH 84 Course Notes for Advanced Computer Graphics Animation. ( (Memento vom 30. August 2000 im Internet Archive)Vorlage:Webarchiv/Wartung/Linktext_fehlt Linktext fehlt.)
5. John Tumblin, Holly Rushmeier: Tone Reproduction for Realistic Computer Generated Images. Technical Report GIT-GVU-91-13, Graphics, Visualization, and Usability Center, Georgia Institute of Technology 1991 (Online)
6. John Tumblin, Holly Rushmeier: Tone Reproduction for Computer Generated Images. IEEE Computer Graphics and Applications 13, 6 (Nov. 1993): 42–48, ISSN 0272-1716
7. Greg Ward: Real Pixels. In James Avro (Hrsg.): Graphics Gems II, S. 80–83. Academic Press, San Diego 1992, ISBN 0-12-286166-3
8. James Ferwerda u. a.: A Model of Visual Adaptation for Realistic Image Synthesis. In SIGGRAPH 96 Conference Proceedings, S. 249–258. ACM, New York 1996, ISBN 0-89791-746-4 ( (Memento vom 13. Juni 2007 im Internet Archive)) archiviert vom Original www.graphics.cornell.edu/~jaf/publications/sig96_paper.pdf
9. Frédéric Drago u. a.: Adaptive Logarithmic Mapping for Displaying High Contrast Scenes. Computer Graphics Forum 22, 3 (2003): 419–426, ISSN 0167-7055 (Online)
10. E. Reinhard, K. Devlin: Dynamic Range Reduction Inspired by Photoreceptor Physiology. IEEE Transactions on Visualization and Computer Graphics 11, 1 (Jan./Feb. 2005): 13–24, ISSN 1077-2626 ( (Memento des Originals vom 1. Oktober 2008 im Internet Archive)  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.cs.bris.ac.uk)
11. Gregory Ward Larson: A Visibility Matching Tone Reproduction Operator for High Dynamic Range Scenes. IEEE Transactions on Visualization and Computer Graphics 3, 4 (Oct.-Dec. 1997): 291–306 (PDF, 880 KB)
12. Christophe Schlick: Quantization Techniques for the Visualization of High Dynamic Range Pictures. In Georgios Sakas u. a. (Hrsg.): Photorealistic Rendering Techniques, S. 7–20. Springer, New York 1995, ISBN 3-540-58475-7
13. Erik Reinhard u. a.: Photographic Tone Reproduction for Digital Images. ACM Transactions on Graphics 21, 3 (Jul. 2002): 267–276, ISSN 0730-0301 (Online)
14. Michael Ashikhmin: A Tone Mapping Algorithm for High Contrast Images. In Proceedings of 13th Eurographics Workshop on Rendering, S. 145–155. Eurographics, Aire-la-Ville 2002, ISBN 1-58113-534-3
15. Frédo Durand, Julie Dorsey: Fast Bilateral Filtering for the Display of High-dynamic-range Images. ACM Transactions on Graphics, 21, 3 (2002): 257–266 (Online)
16. Sumanta Pattanaik, Hector Yee: Adaptive Gain Control for High Dynamic Range Image Display. In Proceedings of the Spring Conference on Computer Graphics 2002, S. 83–87. ACM, New York 2002 (PDF, 140 KB)
17. Prasun Choudhury, Jack Tumblin: The Trilateral Filter for High Contrast Images and Meshes. In Proceedings of the Eurographics Symposium on Rendering 2003, S. 186–196. (PDF, 2,0 MB)
18. K. Chiu u. a.: Spatially Nonuniform Scaling Functions for High Contrast Images. In Proceedings of Graphics Interface ’93, S. 245–253. Toronto 1993 (PDF, 420 KB)
19. Zia-ur Rahman u. a.: A Multiscale Retinex for Color Rendition and Dynamic Range Compression. In SPIE Proceedings: Applications of Digital Image Processing XIX, Vol. 2847. SPIE, Denver 1996 (Online)
20. Mark Fairchild, Garrett Johnson: Meet iCAM: An Image Color Appearance Model. In IS&T/SID 11th Color Imaging Conference, S. 36–41. IS&T, Scottsdale 2003 (Online)
21. Sumanta Pattanaik u. a.: A Multiscale Model of Adaptation and Spatial Vision for Realistic Image Display. In SIGGRAPH 98 Conference Proceedings, S. 287–298. ACM, New York 1998, ISBN 0-89791-999-8 (PDF, 1,5 MB)
22. Hector Yee, Sumanta Pattanaik: Segmentation and Adaptive Assimilation for Detail-preserving Display of High-dynamic Range Images. The Visual Computer 19, 7–8 (2003): 457–466, ISSN 0178-2789 ( (Memento des Originals vom 7. Juni 2010 im Internet Archive)  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/graphics.cs.ucf.edu)
23. A. Oppenheim u. a.: Nonlinear Filtering of Multiplied and Convolved Signals. IEEE Transactions on Audio and Electroacoustics 16, 3 (Sep. 1968): 437–466, ISSN 0018-9278
24. Jiangtao Kuang u. a.: iCAM06: A refined image appearance model for HDR image rendering. Journal of Visual Communication and Image Representation 18, 5 (Oct. 2007): 406–414, ISSN 1047-3203 (Online)
25. Berthold Horn: Determining Lightness from an Image. Computer Graphics and Image Processing 3 (1974): 277–299, ISSN 1530-1834 (PDF, 1,1 MB)
26. Raanan Fattal u. a.: Gradient Domain High Dynamic Range Compression. ACM Transactions on Graphics 21, 3 (Jul. 2002): 249–256 (Online)
27. Frédéric Drago u. a.: Perceptual Evaluation of Tone Mapping Operators with Regard to Similarity and Preference. Technical Report MPI-I-2002-4-002, Max-Planck-Institut für Informatik 2002 (PDF, 2,0 MB)
28. Jiangtao Kuang u. a.: Testing HDR Image Rendering Algorithms. In Proceedings of IS&T/SID 12th Color Imaging Conference. IS&T, Scottsdale 2004
29. Akiko Yoshida u. a.: Perceptual Evaluation of Tone Mapping Operators with Real-World Scenes. In Human Vision and Electronic Imaging X, IS&T/SPIE's 17th Annual Symposium on Electronic Imaging, S. 192–203 SPIE, San Jose 2005 (PDF, 480 KB)
30. Garrett Johnson: Cares and Concerns of CIE TC8-08: Spatial Appearance Modeling and HDR Imaging. In SPIE/IS&T Electronic Imaging Conference. IS&T, San Jose 2005 (PDF, 2,1 MB)