A Casa James K. Polk está localizada a oeste do centro comercial da Columbia, no canto sudoeste das ruas 7ª e 7ª Oeste e Alta Sul. É um edifício de tijolo em forma de L, dois andares em altura, com um telhado de lábio. A fachada frontal, virada para a Rua 7 Oeste, tem três baías de largura, com a entrada principal na baía mais à direita, encastrada numa abertura de arco segmentado. A porta é ladeada por janelas laterais e encimada por uma janela semi-oval com travessa, e as paredes interiores do recesso são revestidas por painéis. As outras janelas das baías, que são encimadas por lintéis de tijolo e uma pedra chave. O interior conserva o período de acabamento para a sua construção, mas foi adaptado para exposições do museu. A propriedade inclui uma reprodução da construção da cozinha que teria estado presente durante a residência de Polk; nenhum dos anexos do seu tempo sobrevive.
A casa foi construída em 1816 por Samuel Polk, e foi a casa de seu filho, o presidente dos EUA James K. Polk, durante seis anos como um jovem adulto. É a única residência privada associada ao Presidente Polk a sobreviver. James viveu na casa até 1824, de vez em quando, quando saiu para ler direito em Nashville sob Felix Grundy, e por um tempo após seu retorno à Columbia, onde abriu seu escritório de advocacia. Ele se mudaria para uma casa ao fundo da rua com sua esposa Sarah Childress por volta da mesma época, em 1824, onde eles passaram a maior parte de suas vidas juntos. (Essa casa foi destruída pelo fogo no final do século 19, e atualmente é um estacionamento de funerária). O presidente seria dono da casa após a morte de seu pai em 1827, enquanto sua mãe vivia na casa até sua morte em 1852. Um dos irmãos mais novos do presidente, William Hawkins Polk, foi o último Polk a viver diretamente na casa, e seu filho seria o último Polk a possuí-la até 1871. Ele passou por vários proprietários antes de sua aquisição pela sobrinha tetravó do presidente junto com o estado do Tennessee em 1929.
(O museu é operado pela James K. Polk Memorial Association, mas é confiado à organização pelo estado do Tennessee.)
Alguns itens externos foram mudados para o local depois que Polk Place, a posterior casa do presidente, foi demolida, incluindo a fonte, urnas de jardim e outras peças.