Delphi-Methode

Die Delphi-Methode (auch Delphi-Studie, Delphi-Verfahren oder Delphi-Befragung genannt) ist ein systematisches, mehrstufiges Befragungsverfahren mit Rückkopplung und ist eine Schätzmethode, die dazu dient, zukünftige Ereignisse, Trends, technische Entwicklungen und dergleichen möglichst gut einschätzen zu können.

Namensgeber der Methode ist das antike Orakel von Delphi, das seinen Zuhörern Ratschläge für die Zukunft erteilte.

Geschichte

Die Delphi-Methode wurde – nach Vorarbeiten Ende der 1950er Jahre – von der amerikanischen RAND-Corporation 1963 entwickelt und wird seitdem häufig, wenn auch in variierter Form, für die Ermittlung von Prognosen/Trends sowie für andere Meinungsbildungen im Rahmen von Systemaufgaben angewendet. Mehr und mehr hat sich das Verfahren zu einem Bewertungsverfahren für Themen entwickelt, in dem festgestellt werden kann, ob es einen Konsens über das Thema gibt (bzw. ob dieser erreicht werden kann) oder nicht. In Deutschland war es in den 90er Jahren das damalige Bundesministerium für Forschung und Technologie (BMFT), das die ersten Delphi-Studien zur Entwicklung von Wissenschaft und Technik in Auftrag gab. Die Studien Deutscher Delphi-Bericht zur Entwicklung von Wissenschaft und Technik (1993) und Delphi '98 Umfrage. Zukunft nachgefragt. Studie zur globalen Entwicklung von Wissenschaft und Technik (1998) wurden vom Fraunhofer-Institut für System- und Innovationsforschung (ISI) durchgeführt.

Vorgehensweise

Bei einer Delphi-Befragung wird einer Expertengruppe ein Fragen- oder Thesenkatalog des betreffenden Fachgebiets vorgelegt. Die Befragten haben in zwei oder mehr sogenannten Runden die Möglichkeit, die Thesen einzuschätzen. Ab der zweiten Runde wird Feedback gegeben, wie andere Experten geantwortet haben, in der Regel anonym. Auf diese Weise wird versucht, der üblichen Gruppendynamik mit sehr dominanten Personen entgegenzuwirken.

Die in der ersten Runde schriftlich erhaltenen Antworten, Schätzungen, Ergebnisse etc. werden daher aufgelistet und beispielsweise mithilfe einer speziellen Mittelwertbildung, Perzentilen oder Durchschnittswertberechnungen zusammengefasst und den Fachleuten anonymisiert erneut für eine weitere Diskussion, Klärung und Verfeinerung der Schätzungen vorgelegt. Dieser kontrollierte Prozess der Meinungsbildung erfolgt gewöhnlich über mehrere Stufen. Das Endergebnis ist eine aufbereitete Gruppenmeinung, die die Aussagen selbst und Angaben über die Bandbreite vorhandener Meinungen enthält.

Der Meinungsbildungsprozess enthält die Elemente: Generation, Korrektur beziehungsweise teilweise Anpassung oder Verfeinerung, Mittelwertbildung beziehungsweise Grenzwertbildung, oft auch offene Felder für Erläuterungen. Störende Einflüsse werden durch die Anonymisierung, den Zwang zur Schriftform und die Individualisierung eliminiert. Die Strategie der Delphi-Methode besteht aus: Konzentration auf das Wesentliche, mehrstufigem, teilweise rückgekoppeltem Editierprozess und sichereren, umfassenderen Aussagen durch Zulassen statistischer fuzzyartiger Ergebnisse. Ein Problem kann darin bestehen, dass die Experten ihre einmal geäußerte Meinung in den folgenden Runden trotz Anonymität nicht ändern. Der Zusatznutzen weiterer Runden wäre in diesem Fall begrenzt.

Als Ergänzung der Delphi-Methode kann zum Beispiel die Wechselwirkungsanalyse verwendet werden. Auch in der D2-Methode finden sich Elemente der Delphi-Methode wieder. Kombinationen mit Szenarien werden inzwischen ebenfalls häufiger durchgeführt. Aus Delphi-Ergebnissen lassen sich einfache Roadmaps ableiten, sodass auch diese Kombination sich zunehmender Beliebtheit erfreut. Man findet diverse Formen der Delphi-Methode, die das Verfahren der Schätzung etwas variieren: Die Standard- und die Breitband-Methode sind einige der Varianten. Inzwischen werden die meisten Verfahren elektronisch durchgeführt. Realtime-Delphi-Verfahren (mit einer sofortigen Rückkopplung der Ergebnisse) sind eine Variante, die nur elektronisch möglich ist.

In der Anwendung der Delphi-Methode sollte besonderes Augenmerk auf der Formulierung der Delphi-Thesen und der Definition und Auswahl der Experten liegen, da hier in der Praxis häufiger methodische Schwächen auffallen und die Ergebnisse in Frage stellen.

Beiderbeck et al. haben ausgehend von einer disziplinübergreifenden Analyse eine Methoden-Toolbox entwickelt, die klassische und innovative Design-Kriterien für Delphi-Studien illustriert. Neben der Analyse der Experten-Bewertungen an sich rücken in jüngster Zeit beispielsweise auch die Persönlichkeitsprofile der Teilnehmer in den Fokus. Mittels ergänzender Cross-Impact-Analysen können einzelne Delphi-Thesen und Ergebnisse in einen gemeinsamen systemischen Kontext und Wechselwirkungen berücksichtigt werden. Darüber hinaus bieten dreidimensionale Abbildungen von Szenarioclustern ein erweitertes Verständnis gesammelter Daten.

Standard-Delphi-Methode

Bei der Standard-Delphi-Methode werden mehrere Experten zur Schätzung eines Projektes – oder zur Prognostizierung – herangezogen, die sich nicht untereinander abstimmen dürfen. Der Prozess sieht wie folgt aus:

• Ein Projektleiter bereitet eine Projektbeschreibung vor, in der die einzelnen Teil-Produkte aufgelistet sind und bereitet sie in einem Arbeitsformular vor.
• Der Projektleiter stellt die Ziele des Gesamtprojektes vor und verteilt je ein Exemplar des Arbeitsformulars an jeden Experten. Es findet keine Diskussion der Schätzungen statt.
• Jeder Experte schätzt die im Arbeitsformular enthaltenen Arbeitspakete. Keiner der Experten arbeitet mit einem anderen Experten zusammen.
• Alle Arbeitsformulare werden vom Projektleiter gesammelt und ausgewertet.
• Ergeben sich gravierende Diskrepanzen, so werden diese vom Projektleiter einheitlich auf allen Arbeitsformularen in Bezug auf die Abweichung nach oben oder unten kommentiert. Jedes Arbeitsformular geht anschließend an seinen ursprünglichen Bearbeiter wieder zurück.
• Die Experten überdenken in Abhängigkeit von den Kommentaren ihre Schätzungen. Dieser Vorgang kann als eine Art indirekte Diskussion angesehen werden, da die Experten nicht in Kontakt zueinander stehen und sich doch gegenseitig beeinflussen.
• Die beschriebene Schleife wiederholt sich so lange, bis sich in den Schätzungen unabhängig voneinander (in einem Toleranzbereich) Konsens einstellt.
• Von allen Schätzungen werden die Mittelwerte errechnet und als finale Schätzung präsentiert.

Das Fehlen jeglicher Diskussionen hat zwei Aspekte, die ein Projektleiter bewerten muss: Einerseits wird damit verhindert, dass sich aufgrund einer ungewollten Gruppendynamik Strömungen und Tendenzen in den Meinungen herausbilden, die unter Umständen gute Schätzungen verhindern. Auf der anderen Seite könnten Gruppendiskussionen dazu beitragen, Defizite im Know-how einzelner Experten und die damit verbundenen Fehleinschätzungen zu vermeiden.

Häufig werden Delphi-Umfragen schriftlich und getrennt durchgeführt, die Fragebogen werden also den Experten per Brief oder Mail gesandt. Die einzelnen Experten sehen sich nie und wissen auch erst nach Abschluss aller Umfragerunden die Namen der anderen Befragten. Dieses Vorgehen ist zuverlässiger als das Versammeln aller Experten in einem Raum. Liegt der Schlussbericht einmal vor, werden in der Regel alle Experten und andere Interessierte zu einem Symposium eingeladen.

Breitband-Delphi-Methode

Bei der Breitband-Delphi-Methode werden mehrere Experten zur Schätzung eines Projektes herangezogen, die sich untereinander abstimmen dürfen. Der Prozess sieht wie folgt aus:

• Ein Projektleiter bereitet eine Projektbeschreibung vor, in der die einzelnen Teil-Produkte aufgelistet sind und bereitet sie in einem Arbeitsformular vor.
• Der Projektleiter stellt die Ziele des Gesamtprojektes vor und verteilt je ein Exemplar des Arbeitsformulars an jeden Experten. Es findet eine Diskussion der Arbeitspakete unter den Experten statt, in der die Sicht der einzelnen Experten den anderen Teilnehmern in Bezug auf das Gesamtprojekt und die Teilaufgaben vermittelt werden.
• Anschließend schätzt jeder Experte die in seinem Arbeitsformular enthaltenen Arbeitspakete. Keiner der Experten arbeitet dabei mit einem anderen Experten zusammen.
• Der Projektleiter fasst die einzelnen Schätzaussagen zusammen, er begründet allerdings die Angaben und Unterschiede nicht. Die Ergebnisse werden an alle Experten verteilt.
• Der Projektleiter beruft ein neues Meeting mit den Experten zusammen und spricht die größten Diskrepanzen in den Schätzungen an. Jedes Arbeitsformular geht anschließend an seinen ursprünglichen Bearbeiter wieder zurück.
• Die Experten überdenken in Abhängigkeit von den angeführten Abweichungen ihre Schätzungen.
• Die beschriebene Schleife wiederholt sich so lange, bis sich in den Schätzungen unabhängig voneinander (in einem Toleranzbereich) Konsens einstellt.
• Von allen Schätzungen werden die Mittelwerte errechnet und als finale Schätzung präsentiert.

Durch die Wechselwirkungen der Experten untereinander werden unterschiedliche Ansichten vermittelt, was eine Konsens-Bildung beschleunigt. Vorteil dieser Methode ist zum einen die Anonymität der Schätzungen: Die Experten werden nicht mit ihren gravierenden Abweichungen der Schätzungen konfrontiert und können damit die Schätzaufwände in ihrem Sinne beeinflussen. Starke Abweichungen von Mittelwerten werden offengelegt. Nachteil dieser Methode ist die Gefahr einer Meinungsbildung durch die Gruppendynamik, in der eine unter Umständen notwendige gravierende Schätzabweichung dem Gruppenzwang unterliegt. Ein weiterer Nachteil ist, dass aufgrund mehrerer Iterations-Schleifen für die Meinungsbildung der gesamte Schätzaufwand recht umfangreich werden kann. Die Breitband-Delphi-Methode ist eine sinnvolle Technik für das Schätzen von großen Projekten, in denen komplexe Architekturen durch eine große Expertenrunde mit Hilfe der Interaktion der Experten untereinander zu realistischen Werten führen kann.

Kritik

Die Delphi-Methode versucht, durch das mehrstufige, manchmal auf Konsens angelegte Design, Fehleinschätzungen der Experten zu reduzieren. Dennoch lassen sich nicht alle Probleme der Expertenbefragung vermeiden; durch die Befragung mehrerer Personen entstehen weitere Einschränkungen.

• Der Hauptkritikpunkt betrifft die Grundannahme, dass Experten über Erkenntnisse verfügen, die über das Normalmaß hinausgehen und dass sich in der Kombination Zukunftswissen generieren lässt. Diese Annahme ist jedoch nicht beweisbar.
• Zur Auswahl der Experten gibt es keine Kriterien; die Bezeichnung „Experte“ ist rein subjektiv und willkürlich; durch die Auswahl der Teilnehmer erfolgt schon eine Einflussnahme auf das Ergebnis.
• Themen und Thesen müssen zunächst formuliert werden, bevor sie das zweistufige Verfahren durchlaufen können. In manchen Fällen werden die Thesen zwar im Verfahren selbst erarbeitet, in der Regel sind hierzu jedoch weitere Methoden notwendig.
• Die Thesen müssen kurz, prägnant, aber eindeutig formuliert sein. Dies kann ein Vorteil sein, zwingt es doch die Teilnehmer zur Konzentration auf das Wesentliche. Methodisch können aber nur bedingt komplexe Themenstellungen bewertet werden.
• Experten konzentrieren sich per Definition im Wesentlichen auf ihren Fachbereich. Die Interdependenzen mit anderen Entwicklungen, die vor allem bei breit angelegten Studien wichtig sind, werden häufig vernachlässigt oder müssen nachgearbeitet werden.
• Werden relevante Rahmenbedingungen (z. B. soziale Entwicklungen bei der Prognose der technischen Entwicklung der Mobilkommunikation) beachtet, so kann man sich nicht darauf verlassen, dass die Befragten hierfür dieselbe zuverlässige Expertise besitzen wie in ihrem eigentlichen Fachbereich.
• Experten neigen dazu, die Geschwindigkeit von Entwicklungen zu überschätzen. Vor allem die Diffusionsgeschwindigkeit einer Innovation in der Gesellschaft wird schnell überschätzt.
• Bei der Befragung einer Gruppe entsteht eine soziale Situation. Hierbei können durch Autorität, oder auch aufgrund persönlicher Grabenkämpfe, Verzerrungen entstehen. So ist nicht immer klar, ob ein Konsens (oder ein Dissens) tatsächlich nur auf dem intensiven Hinterfragen der eigenen Meinung beruht. Eine Anonymisierung in der Feedback-Runde kann diese Probleme i. A. nicht vollständig vermeiden. Bei der Verwendung von Fragebögen (E-Mail oder postalisch) wird das Delphi-Verfahren explizit dazu genutzt, diese Dominanzen zu umgehen. Bei Präsenzrunden ist dies nur bedingt möglich.

Siehe auch

• Delphi-Effekt
• Real-time Delphi (englisch)
• Nominal Group Technique
• Cooke-Methode, ähnlich der Delphi-Methode, jedoch werden die Expertenmeinungen mit dem Fähigkeitsgrad der Experten gewichtet, um eine andere Schätzung zu erhalten und um die Gefahr der Tendenz zum Mittelwert auszuschließen.
• Strategische Frühaufklärung
• Zukunftsforschung

Literatur

• Marlen Niederberger, Ortwin Renn: Delphi-Verfahren in den Sozial- und Gesundheitswissenschaften: Konzept, Varianten und Anwendungsbeispiele. Springer VS, 2019, ISBN 978-3-658-21656-6.
• Marlen Niederberger, Ortwin Renn: Das Gruppendelphi-Verfahren: Vom Konzept bis zur Anwendung. Springer VS, 2018, ISBN 978-3-658-18754-5.
• Michael Häder (Hrsg.): Delphi-Befragungen. Ein Arbeitsbuch. Westdt. Verlag, Wiesbaden 2002, ISBN 3-531-13748-4.
• Michael Häder, Sabine Häder (Hrsg.): Die Delphi-Technik in den Sozialwissenschaften: Methodische Forschungen Und Innovative Anwendungen (ZUMA-Publikationen). Springer VS, 2000, ISBN 978-3-531-13523-6.
• Ursula Ammon: Delphi-Befragung. Quantitative Organisationsforschung. Qualitative-Research.net, 2005. Online-Portal für qualitative Sozialforschung, Freie Universität Berlin. Online verfügbar
• Kerstin Cuhls, Knut Blind, Hariolf Grupp (Hrsg.): Delphi '98 Umfrage. Zukunft nachgefragt. Studie zur globalen Entwicklung von Wissenschaft und Technik. Karlsruhe 1998.
• Hariolf Grupp (Hrsg.): Der Delphi-Report. unter Mitarbeit von Breiner, Sibylle und Cuhls, Kerstin. dva-Verlag, Stuttgart 1995.
• H. A. von der Gracht: The Delphi Technique for Futures Research. In: The Future of Logistics, Springer/Gabler, 2008, Kapitel 3, S. 21–68, ISBN 978-3-8349-9764-7.
• H. A. von der Gracht: Consensus Measurement in Delphi Studies – Review and Implications for Future Quality Assurance. In: Technological Forecasting & Social Change. 79, Nr. 8, 2012, S. 1525–1536, doi:10.1016/j.techfore.2012.04.013. – Eine Zusammenfassung von Methoden und Kriterien zur Panel-Konsens- bzw. Dissens-Messung
• A. Spickermann u. a.: Surface- and deep-level diversity in panel selection – Exploring diversity effects on response behaviour in foresight. In: Technological Forecasting & Social Change. Vol. 85, 2014, S. 105–120, doi:10.1016/j.techfore.2013.04.009. – Ein Beispiel für wissenschaftlich fundierte Expertenkriterien und -auswahl
• Stefan Aengenheyster u. a.: Real-Time Delphi in practice – A comparative analysis of existing software-based tools. In: Technological Forecasting & Social Change. Vol. 118, 2017, S. 15–27, doi:10.1016/j.techfore.2017.01.023. – Vergleich von verschiedenen Realtime-Delphi Anwendungen
• T. Gnatzy u. a.: Validating an innovative real-time Delphi approach – A methodological comparison between real-time and conventional Delphi studies. In: Technological Forecasting & Social Change. Vol. 78, No. 9, 2011, S. 1681–1694, doi:10.1016/j.techfore.2011.04.006. – Methodenvergleich von Realtime- und klassischen Delphi-Studien
• USAF Project RAND Report Delphi Assessment: Expert Opinion, Forecasting and Group Process (pdf; 6,0 MB)

Sekundärliteratur zur Delphi-Methode:

Delphi-Studien:

• Kerstin Cuhls, Jürgen von Oertzen, Simone Kimpeler: Future Information Technology for the Health Sector. FAZIT-Schriftenreihe, Stuttgart 2007, www.fazit-forschung.de
• Kerstin Cuhls, Jürgen von Oertzen, Simone Kimpeler: Zukünftige Informationstechnologie für den Gesundheitsbereich. Ergebnisse einer Delphi-Befragung. (= FAZIT-Schriftenreihe). Stuttgart 2007, www.fazit-forschung.de
• H. A. Linstone: The Delphi-Method – Techniques & Applications. Massachusetts 1975.
• H. A. von der Gracht, I.-L. Darkow: Scenarios for the Logistics Service Industry: A Delphi-based analysis for 2025. In: International Journal of Production Economics. Vol. 127, No. 1, 2010, S. 46–59, doi:10.1016/j.ijpe.2010.04.013. – Ein Beispiel für wissenschaftlich fundierte Delphibasierte Szenarioentwicklung in der Logistik-/Mobilitätsbranche
• O. Quasdorff: Die Lean Factory unter Berücksichtigung der Digitalen Fabrik. In: Uwe Bracht (Hrsg.): Innovationen der Fabrikplanung und -organisation. Band 36, Shaker Verlag, Aachen 2016, ISBN 978-3-8440-4934-3.
• K. Ullrich und C. Wenger: Vision 2017 – Was Menschen morgen bewegt. Heidelberg 2008, ISBN 978-3-636-01582-2.
• D. Wissen: Bibliographie der Zukunft – Zukunft der Bibliographie – eine Expertenbefragung mittels Delphi-Technik in Archiven und Bibliotheken in Deutschland, Österreich und der Schweiz. Berlin 2007.
• Lazarus, J.V., Romero, D., Kopka, C.J. et al. A multinational Delphi consensus to end the COVID-19 public health threat. Nature (2022). doi:10.1038/s41586-022-05398-2

Weblinks

• Foresight-Studien des Forschungsprojekts FAZIT. (Nicht mehr online verfügbar.) Ehemals im Original; abgerufen am 15. Juni 2018.@1@2Vorlage:Toter Link/fazit-forschung.de (Seite nicht mehr abrufbar. Suche in Webarchiven.) 

Einzelnachweise

1. Manfred Hüttner: Markt- und Absatzprognosen. Kohlhammer, 1982, ISBN 3-17-007325-7, S. 29.
2. vgl. C. Markmann et al.: Improving the question formulation in Delphi‐like surveys: Analysis of the effects of abstract language and amount of information on response behavior. In: Futures & Foresight Science. 2020, e56, doi:10.1002/ffo2.56.
3. vgl. Mauksch et al.: Who is an expert for foresight? A review of identification methods. In: Technological Forecasting and Social Change. Vol. 154, 2020, 119982, doi:10.1016/j.techfore.2020.119982.
4. D. Beiderbeck et al.: Preparing, conducting, and analyzing Delphi surveys: Cross-disciplinary practices, new directions, and advancements (Open Access). In: MethodsX. 8, 2021, S. 101401, doi:10.1016/j.mex.2021.101401.
5. Kevin Tappe: Cooke-Methode. In: Zeitschrift für Controlling. 24. Jahrgang, Heft 4/5, 2012, S. 278–279; für eine beispielhafte Anwendung der Cooke-Methode siehe Nature. Ausgabe 463, S. 294–295.