Twierdza Schwangau, która po raz pierwszy została wymieniona w historycznych zapiskach z XII wieku, stała wysoko na skale w miejscu obecnego XIX-wiecznego zamku Neuschwanstein. Rycerze, późniejsi hrabiowie Schwangau, byli ministrami Welfów. Hiltbolt von Schwangau (1195-1254) był minnesingerem. Margareta von Schwangau była żoną minnesingera Oswalda von Wolkenstein.
Dzisiejszy zamek Hohenschwangau („Górne Schwangau”) po raz pierwszy wymieniony został w 1397 roku, choć pod nazwą Schwanstein. Dopiero w XIX wieku nazwy tych dwóch zamków uległy zamianie. Został on zbudowany na wzgórzu nad jeziorem Alpsee, poniżej starszej twierdzy. Między 1440 a 1521 rokiem panowie musieli sprzedać swoje lenno z cesarskim nakazem natychmiastowym książętom bawarskim Wittelsbachom, ale nadal zajmowali zamek jako burgrabiowie. W 1521 roku stali się oni ponownie właścicielami, ale w 1535 roku musieli sprzedać swoje ziemie. Nabywca, Johann Paumgartner, bogaty kupiec z Augsburga, zlecił przebudowę dolnego zamku włoskiemu architektowi Lucio di Spazzi, który już wcześniej pracował nad Hofburgiem w Innsbrucku. Zachował on zewnętrzne mury i wieże, ale przebudował wewnętrzne części do 1547 roku, na planie, który istnieje do dziś. Starsza twierdza Schwangau nadal jednak popadała w ruinę. Paumgartner, po podniesieniu do rangi barona, zmarł w 1549 roku, a jego synowie sprzedali swój nowy zamek Maksymilianowi I, elektorowi bawarskiemu.
Wittelsbachowie wykorzystywali zamek do polowań na niedźwiedzie lub jako miejsce schronienia dla książąt potomnych. W 1743 roku został on splądrowany przez wojska austriackie. W ramach niemieckiej mediatyzacji powiat Schwangau stał się w 1803 roku oficjalnie częścią elektoratu bawarskiego. Król Bawarii Maksymilian I Józef sprzedał zamek w 1820 roku. Dopiero w 1832 roku odkupił go jego wnuk Maksymilian II Bawarski, ówczesny książę koronny. W kwietniu 1829 roku odkrył on zabytek podczas pieszej wycieczki i zachwycił się pięknem okolicy. Zniszczoną budowlę – wówczas jeszcze pod nazwą Schwanstein – nabył w 1832 r., rezygnując z życzenia ojca, aby zamieszkał w starym zamku (Hohes Schloss) w pobliskim mieście Füssen. W lutym 1833 r. rozpoczęto przebudowę zamku, która trwała do 1837 r. i była kontynuowana do 1855 r. Odpowiedzialny za nią architekt Domenico Quaglio był odpowiedzialny za neogotycki styl wykończenia zewnętrznego. Zmarł on w 1837 roku i zadanie to kontynuowali Joseph Daniel Ohlmüller (zm. 1839) i Georg Friedrich Ziebland. Ponad 90 malowideł ściennych przedstawia historię Schwangau (w dosłownym tłumaczeniu Dzielnica Łabędzi), jak również średniowieczne niemieckie romanse, takie jak Parzival i historia Lohengrina, Rycerza Łabędzia, na której Richard Wagner oparł później swoje opery Lohengrin z 1848 roku i Parsifal z 1882 roku, sponsorowane przez Ludwika II, który wychował się na tych historiach w Hohenschwangau.

Król Maksymilian zmarł w 1864 roku, a jego syn Ludwik objął tron, wprowadzając się do pokoju ojca w zamku. Ponieważ Ludwik nigdy się nie ożenił, jego matka Maria mogła nadal mieszkać na swoim piętrze podczas letnich miesięcy. Król Ludwik cieszył się życiem w Hohenschwangau, jednak głównie pod nieobecność nielubianej matki, zwłaszcza po 1869 r., kiedy to na miejscu starej twierdzy Schwangau, wysoko ponad zamkiem jego rodziców, rozpoczęto budowę jego własnego zamku, Neuschwanstein.

Po śmierci Ludwika w 1886 r. królowa Maria była jedyną rezydentką zamku aż do swojej śmierci w 1889 r. Jej szwagier, książę regent Luitpold Bawarski, mieszkał na 3. piętrze głównego budynku. To on był odpowiedzialny za elektryfikację w 1905 roku i instalację elektrycznej windy. Luitpold zmarł w 1912 roku, a pałac został otwarty jako muzeum w następnym roku.
Podczas I i II wojny światowej zamek nie doznał żadnych szkód. W 1923 roku Bawarski Parlament Krajowy uznał prawo byłej rodziny królewskiej do zamieszkiwania w zamku. Od 1933 do 1939 roku książę bawarski Rupprecht i jego rodzina używali zamku jako swojej letniej rezydencji i do dziś jest on ulubioną rezydencją jego następców, obecnie jego wnuka Franciszka, księcia bawarskiego. W maju 1941 roku książę Wojciech Bawarski został usunięty z wojska na mocy hitlerowskiego Prinzenerlass i wycofał się do rodzinnego zamku Hohenschwangau, gdzie mieszkał do końca wojny.
Ponad 300 000 gości z całego świata odwiedza pałac każdego roku. Zamek jest otwarty przez cały rok (z wyjątkiem świąt Bożego Narodzenia). Godziny otwarcia to 9.00-18.00 (od kwietnia do września) i 10.00-16.00 (od października do marca). Zwiedzanie z przewodnikiem odbywa się w językach: niemieckim, angielskim, francuskim, włoskim, hiszpańskim, rosyjskim, czeskim, słoweńskim i japońskim. Zwiedzanie z przewodnikiem nie jest dostępne.
-
Rysunek Frederika Hansena Sødringa, 1843
-
Schloss Hohenschwangau
-
Widok z Hohenschwangau w górę do Neuschwanstein
-
Widok w dół na Hohenschwangau z Neuschwanstein
-
Brama
-
Wieże
-
Swan fontanna
-
Sala balowa
-
Salon
.
.