Dom Jamesa K. Polka znajduje się tuż na zachód od komercyjnego centrum miasta Columbia, na południowo-zachodnim rogu ulic West 7th i South High. Jest to budynek z cegły w kształcie litery L, dwupiętrowy, z dwuspadowym dachem. Fasada frontowa, zwrócona w stronę West 7th Street, jest szeroka na trzy wykusze, z głównym wejściem w prawym wykuszu, wpuszczonym w otwór o łuku segmentowym. Drzwi są flankowane przez okna boczne i zwieńczone pół-owalnym oknem ryglowym z ornamentyką, a wewnętrzne ściany wnęki są wyłożone boazerią. W pozostałych przęsłach znajdują się okna, które zwieńczone są nadprożami z cegły i kamiennym zwornikiem. Wnętrze zachowało wykończenia z okresu budowy, ale zostało przystosowane do ekspozycji muzealnej. Nieruchomość zawiera reprodukcję budynku kuchennego, który byłby obecny podczas rezydencji Polka; żaden z budynków gospodarczych z jego czasów nie przetrwał.
Dom został zbudowany w 1816 roku przez Samuela Polka i był domem jego syna, prezydenta USA Jamesa K. Polka, przez sześć lat jako młodego dorosłego. Jest to jedyna prywatna rezydencja związana z prezydentem Polkiem, która przetrwała. James mieszkał w tym domu do 1824 roku, kiedy to wyjechał, by czytać prawo w Nashville pod kierunkiem Felixa Grundy’ego, a po powrocie do Columbia, gdzie otworzył praktykę prawniczą. Mniej więcej w tym samym czasie, w 1824 roku, przeprowadził się do domu przy ulicy wraz z żoną Sarah Childress, gdzie spędzili razem najdłuższy okres swojego życia. (Ten dom został zniszczony przez pożar pod koniec XIX wieku, a obecnie jest parkingiem domu pogrzebowego). Prezydent stał się właścicielem domu po śmierci ojca w 1827 roku, podczas gdy jego matka mieszkała w nim aż do swojej śmierci w 1852 roku. Jeden z młodszych braci prezydenta, William Hawkins Polk, był ostatnim Polkiem, który bezpośrednio mieszkał w domu, a jego syn był ostatnim Polkiem, który posiadał go do 1871 roku. Dom przeszedł przez kilku właścicieli, zanim w 1929 roku został przejęty przez siostrzenicę prezydenta wraz ze stanem Tennessee.
(Muzeum jest obsługiwane przez James K. Polk Memorial Association, ale zostało powierzone organizacji przez stan Tennessee.)
Niektóre elementy zewnętrzne zostały przeniesione na miejsce po tym, jak Polk Place, późniejszy dom prezydenta, został zburzony, w tym fontanna, urny ogrodowe i inne elementy.
.