Este parque, localizado ao longo do Cross Island Parkway ao largo da avenida Totten entre Totten e a 15ª Estrada no bairro Queens de Bay Terrace, é nomeado pela fortaleza modernizada da Guerra Civil em que reside.
Originalmente habitado pelos índios Matinecock, o bairro de Bayside foi estabelecido pela primeira vez durante a Revolução Americana. Este local foi primeiro nomeado Willets Point, mas mais tarde renomeado para General Joseph Totten (1788-1864) que morreu em Washington, D.C. em 1864. Os planos foram inicialmente preparados pelo Capitão Robert E. Lee em 1857, e a construção da fortificação começou em 1862. Construído do outro lado do East River, Fort Schuyler, Totten foi inicialmente encarregado de defender a abordagem oriental ao porto de Nova York. Logo após a sua conclusão, no entanto, com os rápidos avanços feitos no projeto da fortificação pelos engenheiros e comandantes do campo de batalha que lutaram contra a Guerra Civil no Sul, Fort Totten tornou-se obsoleto como uma estrutura defensiva e suas instalações foram remanejadas para a posição de apoio a vítimas e atendimento hospitalar (1864-1965).
Após a guerra, o forte abrigou a Escola de Engenharia de Aplicação (1865-1901), Sede do Distrito de Artilharia Oriental (ca.1901), a Escola de Minas Elétricas e de Defesa Submarina do Exército (1921), um protótipo de instalação antiaérea (1922), a Sede da Artilharia Anti-Aérea (1941-1944), a Ala do Atlântico Norte do Comando de Transporte Aéreo (1944), a Sede do Comando Sub-Aérea Nova York-New jersey (1949), a Primeira Região ARADCOM para o Sistema de Defesa Anti-Mísseis Antibalísticos Nike (1954), e mais recentemente serviu como U.S. Army Reserve post (1974).
Depois de quase duas décadas de esforços de lobby comunitário para um novo parque na área de Bayside, em 1987 New York City and Parks aceitou a doação de dez acres de terreno excedente do Fort Totten do Departamento de Defesa dos Estados Unidos. Embora outras áreas na época ainda estivessem sendo utilizadas pelo Departamento do Exército e pela Guarda Costeira, a concessão de terras da cidade incluiu o forte histórico do local, uma bateria de artilharia do século 19 e um trecho arborizado com longos caminhos sinuosos. Desde os anos 80, as instalações do Fort Totten têm sido utilizadas pelo Departamento de Bombeiros de Nova York, St. John’s University, Bayside Historical, e também tem sido usado como o Teatro Queens no Parque.
Em 2001, os parques asseguraram uma grande parte dos 93 acres da antiga base militar federal para o desenvolvimento do parque. A área restante continuará a ser utilizada pelo Exército e Guarda Costeira dos Estados Unidos. Em junho de 2001 foram propostos planos para a recreação de um restaurante, lanchonete, calçadão, piscina, campos de futebol, áreas para sentar e passear, uma esplanada à beira-mar, e áreas adicionais para estacionamento de visitantes. Fort Totten Park é também o lar de um “Greenway”, uma área do parque designada exclusivamente para ciclistas e pedestres.