Joseph Gardner Swift (* 31. Dezember 1783 in Nantucket, Massachusetts; † 22. Juli 1865 in Geneva, New York) war ein Brigadegeneral der United States Army. Er war unter anderem erster Absolvent und später als Superintendent Leiter der Militärakademie West Point.
Joseph Swift war der Sohn eines Militärarztes, der zunächst in der US-Marine und später im US-Heer tätig war. Seit 1792 lebte die Familie in Taunton, wo Joseph Privatunterricht erhielt. Im Mai 1800 trat er als Kadett in das in Newport in Rhode Island stationierte Artillerie- und Pionierkorps (corps of artillerists and engineers) ein, um dort zum Offizier ausgebildet zu werden. Dann trat er der neu gegründeten Militärakademie West Point bei, wo er als einer der ersten Kadetten überhaupt studierte. Noch im Gründungsjahr der Akademie (1802) machte er dort als einer von zwei Kadetten seinen Abschluss. Der andere Kadett war der bereits 1807 verstorbene Simeon Magruder Levy. Der vierjährige Ausbildungszyklus war zu jener Zeit noch nicht üblich.
Swift blieb bis 1804 als Lehrer an der Akademie. In den Jahren 1804 bis 1812 diente er als Angehöriger des United States Army Corps of Engineers an verschiedenen Standorten an der Ostküste der Vereinigten Staaten. 1807 kehrte er zwischenzeitlich an die Akademie zurück, wo er für einige Monate vertretungsweise als deren Leiter amtierte. Danach setzte er bis 1812 seine Tätigkeiten bei den Engineers an der Ostküste fort. Dabei wurden unter anderem die Verteidigungsanlagen der Häfen ausgebaut. Dazu gehörte der Hafen von Boston aber auch Hafenanlagen in Georgia und den beiden Carolina-Staaten.
Im Juli 1812 wurde Joseph Swift zum Kommandeur des Corps of Engineers ernannt. Als Chief of Engineers nahm er auch an zwei Gefechten des Britisch-Amerikanischen Krieges von 1812 teil. Fast gleichzeitig erhielt er die Ernennung zum Leiter der Militärakademie in West Point. Damals war das Hauptquartier des Corps of Engineers ebenfalls in West Point und es war für einige Zeit üblich, dass die Leitung beider Organisationen in Personalunion ausgeübt wurde. Unter seiner Leitung wurden Pläne für den Ausbau der Akademie gemacht und deren Umsetzung begonnen. Das Kommando über West Point übergab er 1814 an Alden Partridge. Ansonsten konzentrierte er sich auf militärische Aufgaben mit dem Corps of Engineers, wozu auch der weitere Ausbau von Verteidigungsanlagen, unter anderem denen in New York City, gehörte.
Im Jahr 1816 wurde der ehemalige französische Offizier Simon Bernard gegen den Willen Swifts auf Befehl von US-Präsident James Madison dem Corps of Engineers zugeteilt. Dieser übernahm de facto die Leitung des Corps, auch wenn Swift noch bis 1818 formal dessen Kommandeur blieb. Er unternahm noch einige Inspektionsreisen zur Besichtigung von Verteidigungsanlagen mit dem neuen Präsidenten James Monroe. Im Jahr 1818 reichte Swift aus Unzufriedenheit mit seiner Lage beim Corps of Engineers seinen Abschied aus dem Militärdienst ein. Sein Nachfolger als Chief of Engineers wurde Walker Keith Armistead.
In den Jahren 1819, 1820, 1821, und 1824 gehörte er dem Besucherausschuss (Board of Visitors) der Militärakademie West Point an. Bis 1826 war er Leiter der zivilen Hafenverwaltung von New York City (surveyor of the port of New York). Danach war er als Ingenieur für verschiedene Eisenbahngesellschaften tätig. Zwischenzeitlich versuchte er sich erfolglos als Baumwollpflanzer in Tennessee. Zwischen 1829 und 1845 leitete er den Ausbau verschiedener Häfen im Bereich des Ontariosees. Seine späteren Lebensjahre verbrachte er in Geneva im Bundesstaat New York. Dort ist er am 22. Juli 1865 im Alter von 82 Jahren verstorben. Er war seit 1805 mit Louisa Margaret Walker (1788–1855) verheiratet, mit der er 12 Kinder hatte. Joseph Swift wurde auf dem Washington Street Cemetery in Geneva beigesetzt.