Dům Jamese K. Polka se nachází západně od komerční centrální části města Columbia, na jihozápadním rohu ulic West 7th a South High Street. Jedná se o dvoupatrovou cihlovou budovu ve tvaru písmene L se sedlovou střechou. Čelní fasáda, obrácená do West 7th Street, je široká tři pole, s hlavním vchodem v nejpravějším poli, zapuštěným do otvoru se segmentovým obloukem. Dveře jsou lemovány bočními okny a završeny půlkruhovým nadsvětlíkem s trakturou, vnitřní stěny výklenku jsou prosklené. V ostatních polích jsou umístěna okna, která jsou zakončena cihlovými nadpražími a kamenným klínovým kamenem. Interiér si zachoval dobové povrchové úpravy, ale jinak byl upraven pro muzejní expozice. Součástí objektu je reprodukce přístavby kuchyně, která by se zde nacházela v době Polkova pobytu; žádná z hospodářských budov z jeho doby se nedochovala.
Dům postavil v roce 1816 Samuel Polk a v mládí v něm šest let bydlel jeho syn, americký prezident James K. Polk. Jedná se o jediné dochované soukromé sídlo spojené s prezidentem Polkem. James v domě žil s přestávkami až do roku 1824, kdy odešel studovat práva do Nashvillu pod vedením Felixe Grundyho a po návratu nějakou dobu do Columbie, kde si otevřel advokátní praxi. Přibližně ve stejné době v roce 1824 se přestěhoval se svou ženou Sarah Childressovou do domu o ulici dál, kde spolu strávili nejdelší dobu svého života. (Tento dům byl koncem 19. století zničen požárem a v současné době se v něm nachází parkoviště pohřebního ústavu). Po smrti svého otce v roce 1827 bude prezident vlastnit dům, zatímco jeho matka v něm bude žít až do své smrti v roce 1852. Jeden z prezidentových mladších bratrů William Hawkins Polk byl posledním Polkem, který v domě přímo bydlel, a jeho syn by byl posledním Polkem, který ho vlastnil až do roku 1871. Dům prošel několika majiteli, než jej v roce 1929 získala prezidentova pravnučka spolu se státem Tennessee.
(Muzeum provozuje James K. Polk Memorial Association, ale organizaci jej svěřil stát Tennessee.)
Některé exteriérové předměty byly na místo přemístěny poté, co byl Polk Place, pozdější prezidentův dům, zbourán, včetně fontány, zahradních uren a dalších kusů.