Dit park, gelegen langs de Cross Island Parkway bij Totten Avenue tussen Totten en 15th Roads in de Queens wijk Bay Terrace, is genoemd naar het gemoderniseerde fort uit de Burgeroorlog waarin het zich bevindt.
Oorspronkelijk bewoond door de Matinecock Indianen, werd de wijk Bayside voor het eerst bewoond tijdens de Amerikaanse Revolutie. Deze plaats werd eerst Willets Point genoemd, maar later hernoemd naar generaal Joseph Totten (1788-1864) die in 1864 in Washington, D.C. overleed. Plannen werden aanvankelijk opgesteld door kapitein Robert E. Lee in 1857, en de bouw van het fort begon in 1862. Totten werd gebouwd aan de overkant van de East River van zijn tegenhanger, Fort Schuyler, en was aanvankelijk belast met de verdediging van de oostelijke toegang tot de haven van New York. Spoedig na de voltooiing ervan echter, met de snelle vooruitgang in het ontwerp van vestingwerken door slagveldingenieurs en commandanten die de Burgeroorlog in het Zuiden uitvochten, werd Fort Totten als verdedigingswerk overbodig en werden zijn faciliteiten teruggegeven aan de functie van slachtofferhulp en ziekenhuiszorg (1864-1965).
Na de oorlog bood het fort onderdak aan de Engineer School of Application (1865-1901), Eastern Artillery District Headquarters (ca.1901), Electric Mines and Army School of Submarine Defense (1921), een prototype luchtafweerinstallatie (1922), het hoofdkwartier van de luchtafweerartillerie (1941-1944), de North Atlantic Wing van het Air Transportation Command (1944), het hoofdkwartier van het New York-New Jersey Sub-Area Command (1949), First Region ARADCOM voor het Nike Anti-Ballistic Missile Defense System (1954), en het meest recent heeft het gediend als een U.S. Army Reserve post (1974).
Na bijna twee decennia van lobbyen voor een nieuw park in Bayside, aanvaardden New York City en Parks in 1987 de schenking van tien acres overtollig Fort Totten land van het Amerikaanse ministerie van Defensie. Hoewel andere gebieden in die tijd nog werden gebruikt door het leger en de kustwacht, omvatte de schenking van de stad het historische fort, een 19e-eeuwse artilleriebatterij en een met gras begroeid stuk grond met lange, kronkelige voetpaden. Sinds de jaren 1980 zijn de faciliteiten van Fort Totten gebruikt door de New York Fire Department, St. John’s University, Bayside Historical, en het is ook gebruikt als het Queens Theater in the Park.
In 2001 heeft Parks een groot deel van de 93 hectare van de voormalige federale militaire basis veiliggesteld voor de ontwikkeling van parkland. Het resterende areaal zal door het Amerikaanse leger en de kustwacht gebruikt blijven worden. In juni 2001 werden plannen voorgesteld voor de bouw van een restaurant, een snackbar, een promenade, een zwembad, voetbalvelden, zit- en wandelgebieden, een esplanade aan de waterkant en extra parkeerterreinen voor bezoekers. Fort Totten Park is ook de thuisbasis van een “Greenway”, een parkgebied dat uitsluitend bestemd is voor fietsers en voetgangers.