Parken ligger längs Cross Island Parkway vid Totten Avenue mellan Totten och 15th Roads i Queensområdet Bay Terrace och är uppkallad efter den moderniserade fästning från inbördeskriget som den ligger i.
Originellt beboddes området av Matinecock-indianerna, men Bayside blev först bebyggt under den amerikanska revolutionen. Platsen fick först namnet Willets Point, men döptes senare om efter general Joseph Totten (1788-1864) som dog i Washington DC 1864. Planerna utarbetades ursprungligen av kapten Robert E. Lee 1857, och byggandet av befästningen påbörjades 1862. Totten byggdes tvärs över East River från sin motsvarighet Fort Schuyler och hade till en början till uppgift att försvara den östra infarten till New Yorks hamn. Kort efter färdigställandet, i och med de snabba framstegen inom befästningsdesignen hos ingenjörer och befälhavare som utkämpade inbördeskriget i söder, blev Fort Totten dock föråldrat som försvarsanläggning, och dess faciliteter återfördes till att användas för stöd till skadade och sjukhusvård (1864-1965).
Efter kriget inrymde fortet ingenjörsskolan för tillämpning (1865-1901), Eastern Artillery District Headquarters (ca.1901).), Electric Mines and Army School of Submarine Defense (1921), en prototyp av en luftvärnsanläggning (1922), Anti-Aircraft Artillery Headquarters (1941-1944), North Atlantic Wing of the Air Transportation Command (1944), New York-New jersey Sub-Area Command Headquarters (1949), First Region ARADCOM för Nike Anti-Ballistic Missile Defense System (1954), och har på senare tid fungerat som en U.Efter nästan två decennier av lobbyverksamhet för en ny park i Bayside-området accepterade New York City och Parks 1987 gåvan av tio tunnland överskottsmark för Fort Totten från det amerikanska försvarsdepartementet. Även om andra områden vid den tiden fortfarande användes av armédepartementet och kustbevakningen, omfattade stadens markgåva platsens historiska fort, ett artilleribatteri från 1800-talet och en gräsbevuxen trädkantad del av fastigheten med långa slingrande gångvägar. Sedan 1980-talet har Fort Tottens anläggningar använts av New Yorks brandkår, St John’s University, Bayside Historical, och det har också använts som Queens Theater in the Park.
År 2001 säkrade Parks en stor del av den före detta federala militärbasens 93 tunnland för utveckling av parkmark. Den återstående arealen kommer även fortsättningsvis att användas av den amerikanska armén och kustbevakningen. I juni 2001 föreslogs planer för återskapande av en restaurang, snackbar, strandpromenad, simbassäng, fotbollsplaner, sitt- och promenadområden, en esplanad vid vattnet och ytterligare parkeringsplatser för besökare. Fort Totten Park är också hem för en ”Greenway”, ett parkområde som uteslutande är avsett för cyklister och fotgängare.