Das James K. Polk Home befindet sich westlich des zentralen Geschäftsviertels von Columbia, an der südwestlichen Ecke der West 7th und South High Streets. Es ist ein L-förmiges, zweistöckiges Backsteingebäude mit einem Satteldach. Die vordere Fassade, die zur West 7th Street zeigt, ist drei Joche breit. Der Haupteingang befindet sich im rechten Joch und ist in eine segmentbogenförmige Öffnung eingelassen. Die Tür wird von Seitenfenstern flankiert und von einem halbovalen Oberlicht mit Maßwerk gekrönt. Die Innenwände der Nische sind getäfelt. Die Innenwände der Nische sind getäfelt. In den anderen Erkern befinden sich Fenster, die mit Ziegelstürzen und einem Schlussstein aus Stein versehen sind. Das Innere des Gebäudes ist noch mit bauzeitlichen Elementen ausgestattet, wurde aber ansonsten für die museale Präsentation angepasst. Das Anwesen umfasst eine Nachbildung des Küchennebengebäudes, das zu Polks Wohnzeit vorhanden gewesen wäre; keines der Nebengebäude aus seiner Zeit ist erhalten geblieben.
Das Haus wurde 1816 von Samuel Polk erbaut und diente seinem Sohn, dem US-Präsidenten James K. Polk, als junger Erwachsener sechs Jahre lang als Zuhause. Es ist das einzige erhaltene Privathaus, das mit Präsident Polk in Verbindung gebracht wird. James bewohnte das Haus bis 1824, als er es verließ, um in Nashville unter Felix Grundy Jura zu studieren, und nach seiner Rückkehr nach Columbia, wo er seine Anwaltskanzlei eröffnete, eine Zeit lang. Etwa zur gleichen Zeit im Jahr 1824 zog er mit seiner Frau Sarah Childress in ein Haus auf der anderen Straßenseite, wo sie die längste Zeit ihres Lebens gemeinsam verbrachten. (Dieses Haus wurde im späten 19. Jahrhundert durch ein Feuer zerstört und ist heute ein Parkplatz für ein Beerdigungsinstitut). Nach dem Tod seines Vaters im Jahr 1827 wurde das Haus Eigentum des Präsidenten, während seine Mutter bis zu ihrem Tod im Jahr 1852 darin lebte. Einer der jüngeren Brüder des Präsidenten, William Hawkins Polk, war der letzte Polk, der das Haus direkt bewohnte, und sein Sohn war der letzte Polk, der es bis 1871 besaß. Es wechselte mehrere Besitzer, bevor es 1929 von der Ur-Ur-Nichte des Präsidenten und dem Bundesstaat Tennessee erworben wurde.
(Das Museum wird von der James K. Polk Memorial Association betrieben, ist der Organisation aber vom Bundesstaat Tennessee anvertraut worden.)
Einige Außengegenstände wurden nach dem Abriss von Polk Place, dem späteren Wohnhaus des Präsidenten, auf das Gelände gebracht, darunter der Brunnen, die Gartenurnen und andere Stücke.