Este parque, situado a lo largo de la Cross Island Parkway junto a la avenida Totten, entre las calles Totten y 15th, en el barrio de Bay Terrace de Queens, recibe su nombre por la fortaleza de la Guerra Civil modernizada en la que se encuentra.
Originalmente habitado por los indios Matinecock, el barrio de Bayside se pobló por primera vez durante la Revolución Americana. Este lugar se denominó primero Willets Point, pero más tarde se rebautizó con el nombre del general Joseph Totten (1788-1864), que murió en Washington, D.C. en 1864. Los planos fueron preparados inicialmente por el capitán Robert E. Lee en 1857, y la construcción de la fortificación comenzó en 1862. Construido al otro lado del río Este desde su homólogo, Fort Schuyler, Totten se encargó inicialmente de defender el acceso oriental al puerto de Nueva York. Sin embargo, poco después de su finalización, con los rápidos avances realizados en el diseño de fortificaciones por los ingenieros de campo de batalla y los comandantes que luchaban en la Guerra de Secesión en el Sur, Fort Totten quedó obsoleto como estructura defensiva y sus instalaciones fueron relegadas a la posición de apoyo a las víctimas y atención hospitalaria (1864-1965).
Después de la guerra, el fuerte albergó la Escuela de Aplicación de Ingenieros (1865-1901), el Cuartel General del Distrito de Artillería del Este (ca.1901), las Minas Eléctricas y la Escuela de Defensa Submarina del Ejército (1921), un prototipo de instalación antiaérea (1922), el Cuartel General de Artillería Antiaérea (1941-1944), el Ala del Atlántico Norte del Mando de Transporte Aéreo (1944), el Cuartel General del Mando de la Subzona de Nueva York-Nueva Jersey (1949), el ARADCOM de la Primera Región para el Sistema de Defensa de Misiles Antibalísticos Nike (1954), y más recientemente ha servido como puesto de la Reserva del Ejército de EE.Tras casi dos décadas de esfuerzos de la comunidad por conseguir un nuevo parque en la zona de Bayside, en 1987 la ciudad de Nueva York y Parks aceptaron la donación de diez acres de terreno excedente de Fort Totten por parte del Departamento de Defensa de los Estados Unidos. Aunque en aquel momento otras zonas seguían siendo utilizadas por el Departamento del Ejército y la Guardia Costera, la cesión del terreno por parte de la ciudad incluía el fuerte histórico del lugar, una batería de artillería del siglo XIX y un tramo arbolado de hierba con largos y sinuosos senderos. Desde la década de 1980, las instalaciones de Fort Totten han sido utilizadas por el Departamento de Bomberos de Nueva York, la Universidad de St. John’s y el Bayside Historical, y también se ha utilizado como Teatro de Queens en el Parque.
En 2001, Parks aseguró una gran parte de los 93 acres de la antigua base militar federal para el desarrollo de parques. El resto de las hectáreas seguirán siendo utilizadas por el Ejército y la Guardia Costera de EE.UU. En junio de 2001 se propusieron planes para la recreación de un restaurante, un bar, un paseo marítimo, una piscina, campos de fútbol, zonas para sentarse y pasear, una explanada frente al mar y más zonas de aparcamiento para visitantes. El parque Fort Totten también alberga una «vía verde», una zona del parque designada exclusivamente para ciclistas y peatones.