Die „Schule der Phantasie“ geht auf ein 1978 von Rudolf Seitz erarbeitetes Konzept zurück, das die Notwendigkeit einer zum Regelunterricht zusätzlichen Förderung der Phantasie und Kreativität postuliert.
1974 führte Rudolf Seitz einen Modellversuch über ästhetische Elementarerziehung in der Münchner Kindertagesstätte in der Kemptenerstraße durch, den er als Lehrstuhlinhaber an der Akademie der Bildenden Künste in München wissenschaftlich begleitete.
Nach einem einjährigen Modellversuch unter der Projektleitung von Rudolf Seitz wurden 1981 die „Kurse für Bildnerisches Gestalten“ von der Stadt München eingeführt. 1987 wurde in Traunstein die erste Schule der Phantasie mit Rudolf Seitz und Trixi Haberlander gegründet. 1990 wurden auch die „Kurse für Bildnerisches Gestalten“ der Stadt München in „Schule der Phantasie“ umbenannt. Seitdem kamen Neugründungen im In- und Ausland hinzu.
Die meisten Schulen der Phantasie sind in öffentlicher Trägerschaft. Die Schule der Phantasie Wolfratshausen ist als gemeinnütziger Verein, die Schule der Phantasie Gräfelfing Schule der Phantasie Gräfelfing als gemeinnützige GmbH organisiert.