Lichtfeld

Das Lichtfeld ist eine Funktion, welche die Lichtmenge beschreibt, die an jedem Punkt des dreidimensionalen Raums in alle Richtungen fällt.

Geschichte

Als erster beschrieb Michael Faraday in seinen Thoughts on Ray Vibration, dass Licht als Feld interpretiert werden kann, ähnlich dem magnetischen Feld, an dem Faraday für mehrere Jahre gearbeitet hatte. Der Begriff Lichtfeld wurde geprägt von Andrei Alexandrowitsch Gerschun in einer Veröffentlichung über radiometrische Eigenschaften des Lichts im dreidimensionalen Raum.

In der jüngeren Geschichte der Computergrafik wurde dieser Begriff umgedeutet.

Die plenoptische Funktion

Die Strahldichte L entlang eines Strahls kann als die Lichtmenge aufgefasst werden, die sich entlang aller möglichen Geraden durch ein Rohr bewegt, dessen Größe durch seinen Raumwinkel und seine Querschnittsfläche bestimmt ist.

In der geometrischen Optik wird Licht durch Lichtstrahlen beschrieben (Das Konzept der geometrischen Optik beruht unter anderem auf der Annahme von inkohärenter Strahlung und Objektgrößen deutlich über der Lichtwellenlänge). Das Maß für die Menge an Licht, die entlang dieser Lichtstrahlen transportiert wird, ist die Strahldichte. Die Strahldichte wird mit L bezeichnet und wird gemessen in Watt (W) pro Steradiant (sr) pro Quadratmeter (m²). Steradiant ist das Maß für den Raumwinkel und Quadratmeter das Maß für die Querschnittsfläche.

Parametrisierung eines Strahls im dreidimensionalen Raum durch Position (x,y,z) und Orientierung (,).

Die Verteilung der Strahldichte entlang von Lichtstrahlen in einem Bereich des dreidimensionalen Raums, die durch statische, zeitlich nicht veränderbare Lichtquellen hervorgerufen wird, bezeichnet man als plenoptische Funktion. Die plenoptische Funktion ist eine idealisierte Funktion, die in der Bildverarbeitung und der Computergrafik genutzt wird, um ein Bild aus jeder beliebigen Position aus jedem Blickwinkel zu jedem Zeitpunkt zu beschreiben. Praktisch wird die plenoptische Funktion nicht genutzt; jedoch ist sie sinnvoll, will man verschiedene andere Konzepte der Bildverarbeitung und der Computergrafik verstehen. Da gerade Strahlen durch ihre Position in drei räumlichen Koordinaten (x, y und z) und zwei Winkel ( und ) beschrieben werden können, ist es eine fünfdimensionale Funktion. (Wellenlänge, Polarisationswinkel und die Zeit können als weitere Variablen betrachtet werden, wodurch sich eine höherdimensionale Funktion ergibt.)

Die Summierung der Strahlungsdichtevektoren und , die von zwei Lichtquellen und abgestrahlt werden, erzeugt einen resultierenden Vektor mit dem dargestellten Betrag und Richtung (aus ).

Ebenso wie Adelson (1991) definierte Gershun (1936) das Lichtfeld an jedem Punkt im Raum als eine fünfdimensionale Funktion. Er behandelte es als eine unendlich große Sammlung von Vektoren, für jede Einfallsrichtung oder Orientierung auf einen Punkt, deren Längen proportional zur Strahldichte sind. Die Integration dieser Vektoren über die gesamte Sphäre der möglichen Orientierungen an einem Punkt ergibt einen einzelnen, skalaren Wert – die Bestrahlungsstärke. Das Diagramm, das aus Gershuns Veröffentlichung reproduziert ist, zeigt diese Berechnung für den Fall von zwei Lichtquellen. In der Computergrafik wird diese „vektor-wertige“ Funktion des dreidimensionalen Raums auch als Bestrahlungsstärken-Vektorfeld bezeichnet. Die Vektorrichtung eines Punktes im Lichtfeld kann interpretiert werden als die Normalenrichtung einer Fläche, die so auf diesem Punkt ausgerichtet wird, dass die lokale Bestrahlungsstärke dort maximal ist.

Das 4-D-Lichtfeld

Wenn in einer Szene ein konkaves Objekt vorhanden ist (z. B. der innere Teil einer gekrümmten Hand), dann wird Licht, das von einem Punkt des Objektes ausstrahlt, nach kurzer Strecke von einem anderen Punkt des Objektes blockiert. Kein praktisches Messgerät könnte die plenoptische Funktion in einer solchen Szene bestimmen.

Strahlung entlang eines Lichtstrahls bleibt konstant, sofern sie nicht durch irgendein Objekt in seiner Bahn blockiert wird.

Wenn hingegen die Szene nur auf konvexe Objekte beschränkt bleibt, dann kann die plenoptische Funktion ganz einfach (sogar mit einer Digitalkamera) bestimmt werden. Darüber hinaus enthält die Funktion in diesem Fall sogar redundante Informationen, da sich die Strahldichte entlang des Lichtstrahls nicht verändert. Die redundante Information ist genauer auf eine einzelne Dimension beschränkt, so dass eine vierdimensionale Funktion hier ausreicht. Parry Moon nannte diese 1981 Photonisches Feld, während Forscher aus dem Gebiet der Computergrafik es als 4-D-Lichtfeld oder Lumigramm bezeichnen. Formal ist das 4-D-Lichtfeld definiert als die Strahlungsdichte entlang Lichtstrahlen in einem leeren Raum.

Die Schar von Strahlen in einem Lichtfeld kann auf unterschiedliche Arten parametriert werden, von denen einige wenige nachfolgend gezeigt werden. Die üblicherweise genutzte Parametrierung ist die Zwei-Ebenen-Form (Bild unten, rechte Darstellung). Diese Form kann nicht alle Strahlen repräsentieren, beispielsweise keine Strahlen, die parallel zu den zwei Ebenen sind, sofern die Ebenen zueinander parallel stehen. Der Vorteil liegt allerdings darin, dass ihre Beschreibung eng verwandt ist mit der analytischen Geometrie perspektivischer Abbildung. Eine einfache Möglichkeit, sich die Zwei-Ebenen-Form des Lichtfelds vorzustellen, ist als Sammlung vieler perspektivisch abgebildeter Bilder der st-Ebene (und jedem Objekt, das darüber oder außerhalb liegt) und von denen jedes aus einer anderen Beobachtungposition in der uv-Ebene aufgenommen ist. Ein Lichtfeld, das in dieser Form parametriert ist, wird gelegentlich auch Licht-Slab genannt.

Einige alternative Formen der Parametrierung des 4-D-Lichtfelds in Bezug zum Fluss des Lichts in einem leeren Raum. Links: Punkte auf einer Ebene oder gekrümmten Oberfläche und Richtungen, die von den Punkten wegweisen. Mitte: Punktepaare auf der Oberfläche einer Kugel. Rechts: Punktepaare von Punkten auf zwei Ebenen (in jeder beliebigen Position)

Zu bemerken ist hier, dass Licht-Slab nicht meint, dass das 4-D-Lichtfeld äquivalent ist zur Erfassung zweier 2-D-Ebenen mit Informationen (letzteres ist nur zweidimensional). Zum Beispiel korrespondiert ein Punktpaar mit den Positionen (0,0) in der st-Ebene und (1,1) in der uv-Ebene mit einem Strahl im Raum; allerdings können auch andere Strahlen durch den Punkt (0,0) in der st-Ebene oder den Punkt (1,1) in der uv-Ebene fallen. Das Punktepaar hingegen beschreibt nur diesen einen Strahl, nicht alle anderen dieser Strahlen.

Analogie in der Akustik

Die Entsprechung zum 4-D-Lichtfeld in der Akustik ist das Schallfeld oder Wellenfeld, wie es in der Wellenfeldsynthese Anwendung findet. Dieses korrespondiert zum Kirchhoff-Helmholtz-Integral, das besagt, dass ohne Hindernisse im Raum das Schallfeld über der Zeit durch den Schalldruck auf einer Ebene gegeben ist. Dieses ist somit eine 2-D-Information für jeden beliebigen Punkt und, die Zeit einbeziehend, ein 3-D-Feld.

Dass das Schallfeld zwei Dimensionen besitzt (im Vergleich zum vierdimensionalen Lichtfeld), kommt daher, dass Licht in Strahlen transportiert wird (0-D an einem Raumpunkt zu einem Zeitpunkt, 1-D als Funktion der Zeit), während eine Wellenfront des Schalls wegen des huygensschen Prinzips als sphärische Wellen modelliert werden kann (2-D an einem Raumpunkt zu einem bestimmten Zeitpunkt, 3-D als Funktion der Zeit). Licht bewegt sich in einer einzigen Richtung (2-D-Information), während Schall sich in alle Richtungen ausbreitet.

Erzeugung

Lichtfelder sind fundamentale Repräsentationen für Licht. Sie können auf verschiedenen Weisen erzeugt werden, beispielsweise durch Computerprogramme oder geeignete Aufnahmetechniken.

In der Computergrafik werden Lichtfelder typischerweise durch das Rendern eines 3-D-Modells oder durch das Fotografieren einer realen Szene erzeugt. In beiden Fällen müssen Bilder aus einer großen Anzahl von unterschiedlichen Blickwinkeln aufgenommen werden, will man ein Lichtfeld schaffen. Je nach gewählter Parametrierung liegen diese Blickwinkel auf einer Linie, einer Ebene, einer Kugel oder einer anderen Geometrie. Allerdings ist auch die Wahl unstrukturierter Blickwinkel möglich.

Geräte, die Lichtfelder fotografisch aufnehmen können, bestehen aus einer bewegten, handgeführten Kamera, einer automatisch bewegten Kamera, Kameras montiert an einem Bogen (wie in dem Bullet-Time-Effekt, der aus dem Film Matrix bekannt ist), einer matrixförmigen Anordnung von Kameras oder einer handgeführten Kamera, Mikroskop oder einem optischen System mit einem Mikrolinsenarray, das im optischen Strahlengang positioniert ist (siehe auch plenoptische Kamera). Einige öffentliche Archive für Lichtfeld-Datensätze sind unten angegeben.

Der größte bekannte Lichtfeld-Datensatz (Michelangelo’s statue of Night) enthält 24.000 1,3-Megapixel-Bilder. Die notwendige Anzahl an Bildern hängt von der Anwendung ab. Möchte man ein Lichtfeld von einem opaken Objekt rendern (siehe Abschnitt Anwendungen unten), auf dass man es von allen Seiten betrachten könne, so muss dessen Rückseite fotografiert werden. Wenn man das Objekt aus geringer Entfernung betrachten möchte und das Objekt beiderseits der st-Ebene liegt, dann müssen Bilder aus nahe beieinander liegenden Positionen in der uv-Ebene mit hoher räumlicher Auflösung aufgenommen werden (bei der oben beschriebenen Zwei-Ebenen-Parametrierung).

Die Anzahl und die Lage der Bilder in einem Lichtfeld und die Auflösung der einzelnen Bilder werden als das Sampling des 4-D-Lichtfelds bezeichnet. Von vielen Wissenschaftlern wurden Untersuchungen zum Lichtfeld-Sampling durchgeführt. Ein guter Einstiegspunkt zu diesem Thema findet sich in. Interessant sind auch in Bezug auf den Effekt von Verdeckung, für den Effekt von Beleuchtung und Reflexion sowie zu Anwendungen der plenoptischen Kamera und 3-D-Displays.

Anwendungen

Computational Imaging bezieht sich auf alle Methoden der Bilderzeugung, die einen Computer einbeziehen. Viele dieser Methoden arbeiten mit dem sichtbaren Wellenlängenspektrum, und viele produzieren Lichtfelder. Daher müssten nur alle Anwendungen von Computational Photography in der Kunst, der Wissenschaft, dem Ingenieurwesen und der Medizin gesucht werden, wollte man Anwendungen für Lichtfelder auflisten.

Eine nach unten weisende Lichtquelle (F-F') induziert ein Lichtfeld, dessen Strahldichtevektoren sich nach außen krümmen. Durch seine Berechnungen konnte Gershun die Strahlungsdichte berechnen, die auf einen Punkt () einer Oberfläche fällt (aus ).

Nachfolgend sind ausgewählte Anwendungen aus dem Bereich der Computergrafik aufgeführt:

• Beleuchtungs-Engineering. Gershuns Grund, das Lichtfeld zu studieren, lag darin, das Beleuchtungsmuster abzuleiten (möglichst in geschlossener Form), das oberhalb von Oberflächen auftritt und durch Lichtquellen unterschiedlicher Position und Form hervorgerufen wird. Ein Beispiel hierfür ist rechts dargestellt. Eine jüngere Untersuchung ist zum Beispiel .

• Lichtfeld-Rendering. Indem 2-D-Schnitte aus einem 4-D-Lichtfeld extrahiert werden, können neue Ansichten einer Szene generiert werden. Je nach Parametrierung des Lichtfelds können diese Ansichten perspektivisch, orthografisch, kreuzgeschlitzt, multiperspektivisch oder gemäß einer anderen Projektionsform sein. Lichtfeld-Rendering ist eine Form des Image based Modeling and Rendering.

• Fotografie mit synthetischer Apertur. Durch die Integration einer sinnvollen 4-D-Teilmenge eines Lichtfeldes kann die Ansicht approximiert werden, die entstünde, wenn das Bild mit einer Kamera mit endlicher Apertur aufgenommen werden würde. Eine solche Ansicht hat eine begrenzte Tiefenschärfe. Durch Scherung oder Krümmung des Lichtfeldes vor dieser Integration kann auf frontoparallele oder schräge Ebenen fokussiert werden. Wird ein Lichtfeld mit einer handgeführten Digitalkamera aufgenommen, kann der Fokus der aufgenommenen Bilder nachträglich angepasst werden (siehe auch plenoptische Kamera).

• 3-D-Displays. Wird ein Lichtfeld mit einer Technik präsentiert, die jedes Sample dem entsprechenden Strahl im Raum korrekt zuordnet, so entsteht ein autostereoskopischer Effekt ähnlich wie bei der Betrachtung der realen Szene. Nichtdigitale Techniken, die dies durchführen, umfassen integrale Fotografie, Parallaxen-Panoramagramme und Holografie. Digitale Techniken für die Autostereoskopie umfassen die Nutzung von Linsenarrays über hochauflösenden Displays oder die Projektion des Bildes auf ein Linsenarray mit einem Array von Projektoren. Wird letzteres mit einem Array von Videokameras kombiniert, können zeitlich veränderliche Lichtfelder aufgenommen und projiziert werden. Mit beidem kann ein 3-D-Fernsehsystem aufgebaut werden. Bilderzeugung und Vorverzerrung von synthetischen Bildern für holografische Stereogramme ist eines der ersten Beispiele für computergenerierte Lichtfelder, die die späteren Arbeiten von Levoy und Hanrahan motivierten.

• Reduzierung von Glanzlichtern. Durch vielfache Lichtstreuung und Reflexionen innerhalb eines Objektivs treten Glanzlichter auf, die den Bildkontrast beeinträchtigen. Glanzlichter wurden bereits im zweidimensionalen Bildraum analysiert. Es ist jedoch sinnvoll, Glanzlichter als ein Phänomen im 4-D-Strahlenraum aufzufassen. Durch die statistische Analyse des Strahlungsraums im Inneren der Kamera können Glanzlichtartefakte klassifiziert und ausgeblendet werden. Im Strahlenraum verhalten sich Glanzlichter wie hochfrequentes Rauschen, das durch Ausreißerfilter reduziert werden kann. Eine solche Filterung kann durch die Erfassung des Lichtfelds im Inneren der Kamera durchgeführt werden; allerdings reduziert sich dabei die räumliche Auflösung des Bilds. Für die Reduzierung von Glanzlichtern ohne eine signifikante Verringerung der Auflösung könnte ein gleichförmiges/ungleichförmiges Sampling der Lichtstrahlen angewendet werden.

Quellen

1. Marc Levoy, Jonathan Shade: A light field of Michelangelo's statue of Night. Stanford Computer Graphics Laboratory, 25. Mai 1999, abgerufen am 15. Juli 2019 (englisch). 

Theorie

1. Faraday, M., "Thoughts on Ray Vibrations", Philosophical Magazine, S. 3, Vol XXVIII, N188, May 1846.
2. Gershun, A. (1936). "The Light Field", Moscow, 1936. Translated by P. Moon and G. Timoshenko in Journal of Mathematics and Physics, Vol. XVIII, MIT, 1939, S. 51–151.
3. Adelson, E.H., Bergen, J.R. (1991). "The plenoptic function and the elements of early vision", In Computation Models of Visual Processing, M. Landy and J.A. Movshon, eds., MIT Press, Cambridge, 1991, pp. 3–20.
4. Gershun, A. (1936). "The Light Field", Moscow, 1936. Translated by P. Moon and G. Timoshenko in Journal of Mathematics and Physics, Vol. XVIII, MIT, 1939, fig 17
5. Arvo, J. (1994). "The Irradiance Jacobian for Partially Occluded Polyhedral Sources", Proc. ACM SIGGRAPH, ACM Press, pp. 335–342.
6. Moon, P., Spencer, D.E. (1981). The Photic Field, MIT Press.
7. Levoy, M., Hanrahan, P. (1996). "Light Field Rendering", Proc. ACM SIGGRAPH, ACM Press, pp. 31–42.
8. Gortler, S.J., Grzeszczuk, R., Szeliski, R., Cohen, M. (1996). "The Lumigraph", Proc. ACM SIGGRAPH, ACM Press, pp. 43–54.
9. Gershun, A. (1936). "The Light Field", Moscow, 1936. Translated by P. Moon and G. Timoshenko in Journal of Mathematics and Physics, Vol. XVIII, MIT, 1939, fig. 24

• (Memento vom 8. Januar 2012 im Internet Archive)

Analyse

1. Chai, J.-X., Tong, X., Chan, S.-C., Shum, H. (2000). "Plenoptic Sampling", Proc. ACM SIGGRAPH, ACM Press, pp. 307–318.
2. Durand, F., Holzschuch, N., Soler, C., Chan, E., Sillion, F. X. (2005). "A Frequency analysis of Light Transport", Proc. ACM SIGGRAPH, ACM Press, pp. 1115–1126.
3. Ramamoorthi, R., Mahajan, D., Belhumeur, P. (2006). (Memento vom 28. August 2006 im Internet Archive), ACM TOG.
4. Ng, R. (2005). "Fourier Slice Photography", Proc. ACM SIGGRAPH, ACM Press, pp. 735–744.
5. Zwicker, M., Matusik, W., Durand, F., Pfister, H. (2006). (Memento vom 1. Mai 2007 im Internet Archive), Eurographics Symposium on Rendering, 2006.
6. Halle, M. (1994) "Holographic stereograms as discrete imaging systems", In: SPIE Proc. Vol. #2176: Practical Holography VIII, S.A. Benton, ed., pp. 73–84.

Geräte

1. Levoy, M. (2002). Stanford Spherical Gantry.
2. Kanade, T., Saito, H., Vedula, S. (1998). "The 3D Room: Digitizing Time-Varying 3D Events by Synchronized Multiple Video Streams", Tech report CMU-RI-TR-98-34, December 1998.
3. Yang, J.C., Everett, M., Buehler, C., McMillan, L. (2002). "A real-time distributed light field camera", Proc. Eurographics Rendering Workshop 2002.
4. Wilburn, B., Joshi, N., Vaish, V., Talvala, E., Antunez, E., Barth, A., Adams, A., Levoy, M., Horowitz, M. (2005). "High Performance Imaging Using Large Camera Arrays", ACM Transactions on Graphics (Proc. SIGGRAPH), Vol. 24, No. 3, pp. 765–776.
5. Ng, R., Levoy, M., Brédif, M., Duval, G., Horowitz, M., Hanrahan, P. (2005). "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02, April, 2005.
6. Georgiev, T., Zheng, C., Nayar, S., Curless, B., Salesin, D., Intwala, C. (2006). "Spatio-angular Resolution Trade-offs in Integral Photography" (PDF; 593 kB), Proc. EGSR 2006.
7. Levoy, M., Ng, R., Adams, A., Footer, M., Horowitz, M. (2006). "Light field microscopy", ACM Transactions on Graphics (Proc. SIGGRAPH), Vol. 25, No. 3.

• C.K. Liang, T.H. Lin, B.Y. Wong, C. Liu, H. H. Chen: Programmable Aperture Photography: Multiplexed Light Field Acquisition. Proc. ACM SIGGRAPH. 2008.
• A. Veeraraghavan, R. Raskar, A. Agrawal, A. Mohan, J. Tumblin: Dappled Photography: Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing. Proc. ACM SIGGRAPH. 2007.

Lichtfeldarchive

• "The Stanford Light Field Archive"
• "UCSD/MERL Light Field Repository"
• "The HCI Light Field Benchmark"

Anwendungen

1. Buehler, C., Bosse, M., McMillan, L., Gortler, S., Cohen, M. (2001). "Unstructured Lumigraph rendering", Proc. ACM SIGGRAPH, ACM Press.
2. Ashdown, I. (1993). "Near-Field Photometry: A New Approach", Journal of the Illuminating Engineering Society, Vol. 22, No. 1, Winter, 1993, S. 163–180.
3. Zomet, A., Feldman, D., Peleg, S., Weinshall, D. (2003). "Mosaicing new views: the crossed-slits projection", IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), Vol. 25, No. 6, June 2003, pp. 741–754.
4. Rademacher, P., Bishop, G. (1998). "Multiple-Center-of-Projection Images", Proc. ACM SIGGRAPH, ACM Press.
5. Isaksen, A., McMillan, L., Gortler, S.J. (2000). "Dynamically Reparameterized Light Fields", Proc. ACM SIGGRAPH, ACM Press, pp. 297–306.
6. Vaish, V., Garg, G., Talvala, E., Antunez, E., Wilburn, B., Horowitz, M., Levoy, M. (2005). "Synthetic Aperture Focusing using a Shear-Warp Factorization of the Viewing Transform", Proc. Workshop on Advanced 3D Imaging for Safety and Security, in conjunction with CVPR 2005.
7. Javidi, B., Okano, F., eds. (2002). Three-Dimensional Television, Video and Display Technologies, Springer-Verlag.
8. Matusik, W., Pfister, H. (2004). "3D TV: a scalable system for real-time acquisition, transmission, and autostereoscopic display of dynamic scenes", Proc. ACM SIGGRAPH, ACM Press.
9. Halle, M., Benton, S., Klug, M., Underkoffler, J. (1991). "The UltraGram: a generalized holographic stereogram", SPIE Vol. 1461, Practical Holography V, S.A. Benton, ed., pp. 142–155.
10. Talvala, E-V., Adams, A., Horowitz, M., Levoy, M. (2007). "Veiling glare in high dynamic range imaging", Proc. ACM SIGGRAPH.
11. Raskar, R., Agrawal, A., Wilson, C., Veeraraghavan, A. (2008). "Glare Aware Photography: 4D Ray Sampling for Reducing Glare Effects of Camera Lenses", Proc. ACM SIGGRAPH.

• F. Pérez, J. G. Marichal, J. M. Rodriguez: The Discrete Focal Stack Transform. (PDF; 869 kB) Proc. EUSIPCO 2008.