Stable Diffusion

Stable Diffusion ist ein Deep-Learning-Text-zu-Bild-Generator. Die Open-Source-Software wird hauptsächlich zur Generierung detaillierter Bilder auf der Grundlage von Textbeschreibungen verwendet, kann aber auch für andere Aufgaben wie Inpainting, Outpainting und die Erzeugung von Bild-zu-Bild-Übersetzungen auf der Grundlage einer schriftlichen Aufforderung (Prompt) eingesetzt werden.

Stable Diffusion
Ein von Stable Diffusion generiertes Bild mithilfe des Prompts: „a photograph of an astronaut riding a horse“
Basisdaten
Erscheinungsjahr	22. August 2022
Aktuelle Version	SDXL 1.0 (26. Juli 2023)
Programmiersprache	Python
Lizenz	CreativeML Open RAIL-M
stability.ai/stablediffusion

Stable Diffusion verwendet ein latentes Diffusionsmodell als Variante eines tiefen generativen neuronalen Netzes, das von der CompVis-Gruppe an der LMU München in Zusammenarbeit von Stability AI, CompVis LMU und Runway mit Unterstützung von EleutherAI und LAION entwickelt wurde.

Im Oktober 2022 erhielt Stability AI in einer von Lightspeed Venture Partners und Coatue Management angeführten Finanzierungsrunde 101 Millionen US-Dollar.

Der Code und die Modellgewichte von Stable Diffusion wurden veröffentlicht und können auf vielen Consumer-Hardware-Systemen ausgeführt werden, sofern diese mit einer GPU mit mindestens 8 GB Grafikspeicher ausgestattet sind. Die Verwendung auf weniger leistungsfähiger Hardware bzw. ohne GPU-Beschleunigung ist mittlerweile ebenfalls möglich, jedoch deutlich langsamer. Dieser offene Ansatz stellt eine Abkehr von früheren proprietären Text-zu-Bild-Modellen wie DALL-E und Midjourney dar, die nur über Cloud-Dienste zugänglich waren.

Technologie

Diagramm der von Stable Diffusion verwendeten Architektur

Trainingsdaten

Stable Diffusion wurde anhand von Bild- und Beschriftungspaaren aus LAION-5B trainiert, einem öffentlich zugänglichen Datensatz, der aus „Common Crawl“-Daten aus dem Internet abgeleitet wurde. Dabei wurden 5 Milliarden Bild-Text-Paare auf der Grundlage ihrer Sprache, Auflösung, vorhergesagter Wahrscheinlichkeit ein Wasserzeichen zu enthalten, und vorhergesagter „ästhetischer“ Bewertung (z. B. subjektive visuelle Qualität) in separate Datensätze gefiltert. Der Datensatz wurde von LAION erstellt, einer deutschen gemeinnützigen Organisation, die von Stability AI finanziert wird. Das Stable-Diffusion-Modell wurde auf drei Teilmengen von LAION-5B trainiert: laion2B-de, laion-high-resolution und laion-aesthetics v2 5+. Eine von Dritten durchgeführte Analyse der Trainingsdaten des Modells ergab, dass von einer kleineren Teilmenge von 12 Millionen Bildern aus dem ursprünglich verwendeten größeren Datensatz etwa 47 % der Bilder von 100 verschiedenen Domains stammten, wobei Pinterest 8,5 % der Teilmenge ausmachte, gefolgt von Websites wie WordPress, Blogger, Flickr, DeviantArt und Wikimedia Commons.

Eine Recherche des Bayerischen Rundfunks zeigte, dass die Datensätze von LAION, die auf Hugging Face liegen, große Mengen an privaten und sensiblen Daten enthalten.

Verwendung

Stable Diffusion beansprucht keine Rechte an den generierten Bildern und räumt den Nutzern die Nutzungsrechte für alle aus dem Modell generierten Bilder ein, vorausgesetzt, der Bildinhalt ist nicht illegal oder schädlich für Personen. Die den Nutzern gewährte Freiheit bei der Verwendung der Bilder hat zu einer Kontroverse über die Ethik des Eigentums geführt, da Stable Diffusion und andere generative Modelle anhand von urheberrechtlich geschützten Bildern ohne die Zustimmung des Eigentümers trainiert werden.

Da visuelle Stile und Kompositionen nicht dem Urheberrecht unterliegen, wird häufig die Auffassung vertreten, dass Benutzer von Stable Diffusion, die Bilder von Kunstwerken generieren, nicht gegen das Urheberrecht von visuell ähnlichen Werken verstoßen. Allerdings können Personen, die in den generierten Bildern abgebildet sind, durch Persönlichkeitsrechte geschützt sein, wenn ihr Konterfei verwendet wird, und geistiges Eigentum wie erkennbare Markenlogos bleiben weiterhin durch das Urheberrecht geschützt. Dennoch haben bildende Künstler ihre Besorgnis darüber geäußert, dass der weit verbreitete Einsatz von Bildsynthese-Software wie Stable Diffusion dazu führen könnte, dass menschliche Künstler sowie Fotografen, Models, Kameraleute und Schauspieler allmählich ihre kommerzielle Rentabilität gegenüber KI-basierten Konkurrenten verlieren.

Im Vergleich zu anderen kommerziellen Produkten, die auf generativer KI beruhen, ist Stable Diffusion deutlich freizügiger, was die Art der Inhalte angeht, die die Nutzer erstellen dürfen, wie etwa gewalttätige oder sexuell eindeutige Bilder. Emad Mostaque, CEO von Stability AI, entgegnet den Bedenken, dass das Modell zu missbräuchlichen Zwecken eingesetzt werden könnte: „Es liegt in der Verantwortung der Menschen, ob sie diese Technologie auf ethische, moralische und legale Weise einsetzen“, und dass die Technologie trotz möglicher negativer Folgen einen Nettonutzen bringen würde, wenn die Fähigkeiten von Stable Diffusion der Öffentlichkeit zugänglich gemacht würden. Darüber hinaus argumentiert Mostaque, dass die Absicht hinter der offenen Verfügbarkeit von Stable Diffusion darin besteht, die Kontrolle von Unternehmen über solche Technologien zu beenden, die bisher nur geschlossene KI-Systeme für die Bildsynthese entwickelt haben. Dies spiegelt sich in der Tatsache wider, dass alle Beschränkungen, die Stability AI für die von den Nutzern erzeugten Inhalte auferlegt, aufgrund der Open-Source-Natur der Lizenz, unter der Stable Diffusion veröffentlicht wurde, leicht umgangen werden können.

2023 nutzte ein japanisches Forscherteam Stable Diffusion, um mittels funktioneller Magnetresonanztomographie (fMRI) bildhafte Erinnerungen von Probanden zu rekonstruieren und auszulesen.

Lizenz

Im Gegensatz zu Modellen wie DALL-E stellt Stable Diffusion seinen Quellcode zusammen mit den vortrainierten Gewichten zur Verfügung. Die Lizenz von Stable Diffusion verbietet bestimmte Anwendungsfälle, darunter Verbrechen, Verleumdung, Belästigung, Doxing, „Ausbeutung von Minderjährigen“, medizinische Ratschläge, die automatische Schaffung rechtlicher Verpflichtungen, die Erstellung juristischer Beweise und „die Diskriminierung oder Schädigung von Einzelpersonen oder Gruppen aufgrund von … sozialem Verhalten oder … persönlichen oder charakterlichen Eigenschaften … [oder] gesetzlich geschützten Merkmalen oder Kategorien“. Der Nutzer ist Eigentümer der Rechte an den von ihm erzeugten Bildern (sofern für KI-generierte Kunst überhaupt Urheberrecht beansprucht werden kann) und kann diese kommerziell nutzen.

Literatur

• Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer: High-Resolution Image Synthesis with Latent Diffusion Models. 13. April 2022, doi:10.48550/arXiv.2112.10752. 

Weblinks

Commons: Stable Diffusion – Sammlung von Bildern, Videos und Audiodateien

• Stable Diffusion Demo
• Easy Diffusion Stable Diffusion für Windows 10/11, Linux. Experimenteller Modus für macOS soll bald kommen.
• Der Rohstoff der KI sind wir: Recherche des Bayerischen Rundfunks zu sensiblen und privaten Daten im LAION5b-Datensatz

Einzelnachweise

1. Announcing SDXL 1.0. (englisch, abgerufen am 3. August 2023).
2. Der KI-Bildgenerator Stable Diffusion stammt aus München – und soll KI „demokratisieren“. 15. Dezember 2022, abgerufen am 20. Dezember 2022. 
3. Revolutionizing image generation by AI: Turning text into images. Abgerufen am 25. November 2022 (englisch). 
4. Emad Mostaque, CEO of Stability AI: Emad on Twitter: 'Stable Diffusion came from the Machine Vision & Learning research group (CompVis) @LMU_Muenchen'. Abgerufen am 29. März 2023 (englisch). 
5. Kyle Wiggers: Stability AI, the startup behind Stable Diffusion, raises $101M. In: TechCrunch. 17. Oktober 2022, abgerufen am 25. November 2022 (amerikanisches Englisch). 
6. Stable Diffusion. CompVis – Machine Vision and Learning LMU Munich, 25. November 2022, abgerufen am 25. November 2022. 
7. James Vincent: Anyone can use this AI art generator — that’s the risk. 15. September 2022, abgerufen am 25. November 2022 (amerikanisches Englisch). 
8. 31. August 2022, archiviert vom Original am 31. August 2022; abgerufen am 25. November 2022.  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.pcworld.com 
9. Andy Baio: Exploring 12 Million of the 2.3 Billion Images Used to Train Stable Diffusion's Image Generator. In: Waxy.org. 30. August 2022, abgerufen am 25. November 2022 (amerikanisches Englisch). 
10. This artist is dominating AI-generated art. And he’s not happy about it. Abgerufen am 25. November 2022 (englisch). 
11. Alex Ivanovs: Stable Diffusion: Tutorials, Resources, and Tools – Stack Diary. In: Stack Diary. 8. September 2022 (stackdiary.com [abgerufen am 25. November 2022]). 
12. Katharina Brunner, Elisa Harlan: Der Rohstoff der KI sind wir. Abgerufen am 12. September 2023. 
13. Kenrick Cai: Startup Behind AI Image Generator Stable Diffusion Is In Talks To Raise At A Valuation Up To $1 Billion. Abgerufen am 25. November 2022 (englisch). 
14. This artist is dominating AI-generated art. And he’s not happy about it. Abgerufen am 25. November 2022 (englisch). 
15. 清水亮 / Ryo Shimizu: Midjourneyを超えた？ 無料の作画AI｢ #StableDiffusion ｣が｢AIを民主化した｣と断言できる理由. 26. August 2022, abgerufen am 25. November 2022 (japanisch). 
16. Wolfgang Stiegler: "Gedankenlesen": Input für Stable Diffusion direkt aus dem Gehirn. In: heise online. 15. März 2023, abgerufen am 15. März 2023. 
17. Stable Diffusion Public Release. Abgerufen am 25. November 2022 (britisches Englisch). 
18. KI-Kunst: Keine Urheberrechte für Comics von Midjourney. In: Der Spiegel. 23. Februar 2023, ISSN 2195-1349 (spiegel.de [abgerufen am 22. März 2023]).