La Casa de James K. Polk está situada justo al oeste del centro comercial de Columbia, en la esquina suroeste de las calles West 7th y South High. Es un edificio de ladrillo en forma de L, de dos pisos de altura, con un tejado a dos aguas. La fachada frontal, que da a la calle 7 Oeste, tiene tres crujías de ancho, con la entrada principal en la crujía más a la derecha, empotrada en una apertura de arco segmentado. La puerta está flanqueada por ventanas laterales y rematada por un travesaño semiovalado con tracería, y las paredes interiores del hueco están paneladas. Los demás vanos albergan ventanas, rematadas por dinteles de ladrillo y una clave de piedra. El interior conserva acabados de la época de su construcción, pero por lo demás ha sido adaptado para su exhibición en el museo. La propiedad incluye una reproducción de la dependencia de la cocina que habría estado presente durante la residencia de Polk; no se conserva ninguna de las dependencias de su época.
La casa fue construida en 1816 por Samuel Polk, y fue el hogar de su hijo, el presidente de EE.UU. James K. Polk, durante seis años de juventud. Es la única residencia privada asociada al presidente Polk que se conserva. James vivió en la casa hasta 1824 de forma intermitente, cuando se marchó a estudiar derecho en Nashville con Felix Grundy, y durante un tiempo después de su regreso a Columbia, donde abrió su bufete. Se mudaría a una casa al final de la calle con su esposa Sarah Childress alrededor de la misma época en 1824, donde pasaron la mayor parte de su vida juntos. (Esa casa fue destruida por un incendio a finales del siglo XIX, y actualmente es el aparcamiento de una funeraria). El presidente sería el propietario de la casa tras la muerte de su padre en 1827, mientras que su madre vivió en ella hasta su muerte en 1852. Uno de los hermanos menores del presidente, William Hawkins Polk, fue el último Polk en vivir directamente en la casa, y su hijo sería el último Polk en poseerla hasta 1871. Pasó por varios propietarios antes de ser adquirida por la tataranieta del presidente junto con el estado de Tennessee en 1929.
(El museo está gestionado por la James K. Polk Memorial Association, pero el estado de Tennessee se lo ha confiado a la organización.)
Algunos elementos exteriores fueron trasladados al lugar después de que Polk Place, la posterior casa del presidente, fuera demolida, incluyendo la fuente, las urnas del jardín y otras piezas.