La maison James K. Polk est située juste à l’ouest du centre commercial du centre-ville de Columbia, à l’angle sud-ouest des rues West 7th et South High. C’est un bâtiment en brique en forme de L, de deux étages de hauteur, avec un toit à pignon. La façade avant, qui fait face à la West 7th Street, est large de trois travées, avec l’entrée principale dans la travée la plus à droite, encastrée dans une ouverture à arc segmenté. La porte est flanquée de fenêtres latérales et surmontée d’une imposte semi-ovale à tracer, et les murs intérieurs de la niche sont lambrissés. Les autres baies abritent des fenêtres, qui sont surmontées de linteaux en brique et d’une clé de voûte en pierre. L’intérieur conserve les finitions de l’époque de sa construction, mais a été autrement adapté pour les expositions du musée. La propriété comprend une reproduction de la dépendance de la cuisine qui aurait été présente pendant la résidence de Polk ; aucune des dépendances de son époque ne survit.
La maison a été construite en 1816 par Samuel Polk, et a été la maison de son fils, le président américain James K. Polk, pendant six ans en tant que jeune adulte. C’est la seule résidence privée associée au président Polk qui subsiste. James a vécu dans la maison jusqu’en 1824, par intermittence, lorsqu’il est parti étudier le droit à Nashville sous la direction de Felix Grundy, et pendant un certain temps après son retour à Columbia, où il a ouvert son cabinet d’avocat. En 1824, à peu près à la même époque, il emménagea avec sa femme Sarah Childress dans une maison au bout de la rue, où ils passèrent la plus longue période de leur vie ensemble. (Cette maison a été détruite par un incendie à la fin du XIXe siècle, et est actuellement le parking d’un salon funéraire). Le président sera propriétaire de la maison après la mort de son père en 1827, tandis que sa mère y vivra jusqu’à sa mort en 1852. L’un des frères cadets du président, William Hawkins Polk, a été le dernier Polk à vivre directement dans la maison, et son fils sera le dernier Polk à la posséder jusqu’en 1871. Elle passa par plusieurs propriétaires avant son acquisition par l’arrière-arrière-nièce du président avec l’État du Tennessee en 1929.
(Le musée est géré par la James K. Polk Memorial Association, mais est confié à l’organisation par l’État du Tennessee.)
Certains éléments extérieurs ont été déplacés sur le site après la démolition de Polk Place, la maison ultérieure du président, y compris la fontaine, les urnes de jardin et d’autres pièces.