James K. Polkin koti sijaitsee Columbian keskustan kaupallisen keskusta-alueen länsipuolella, West 7th Streetin ja South High Streetin lounaiskulmassa. Se on L-muotoinen, kaksikerroksinen tiilirakennus, jossa on harjakatto. West 7th Streetin puoleinen julkisivu on kolmiportainen, ja pääsisäänkäynti on oikeanpuoleisimmassa päärakennuksessa, joka on upotettu segmenttikaariseen aukkoon. Ovea reunustavat sivuikkunat, ja sen yläpuolella on puoliovaalinen ristikko-ikkuna, jossa on verhous, ja syvennyksen sisäseinät on paneloitu. Muissa erkkereissä on ikkunat, joiden yläpuolella on tiilistä muuratut karmit ja kivinen avainkivi. Sisätiloissa on säilytetty rakennusaikaiset viimeistelyt, mutta ne on muutoin mukautettu museokäyttöön. Kiinteistössä on jäljennös keittiön ulkorakennuksesta, joka olisi ollut paikalla Polkin asuessa; yksikään hänen aikansa ulkorakennuksista ei ole säilynyt.
Talon rakennutti Samuel Polk vuonna 1816, ja se oli hänen poikansa, Yhdysvaltain presidentin James K. Polkin koti kuuden vuoden ajan nuorena aikuisena. Se on ainoa säilynyt presidentti Polkiin liittyvä yksityisasunto. James Polk asui talossa aina vuoteen 1824 asti, jolloin hän lähti lukemaan lakia Nashvilleen Felix Grundyn johdolla ja palattuaan jonkin aikaa Columbiaan, jossa hän avasi lakitoimistonsa. Samoihin aikoihin vuonna 1824 hän muutti vaimonsa Sarah Childressin kanssa kadun varrella sijaitsevaan taloon, jossa he viettivät elämänsä pisimpään yhdessä. (Tämä koti tuhoutui tulipalossa 1800-luvun lopulla, ja nykyään se on hautaustoimiston parkkipaikka.) Presidentti omisti kodin isänsä kuoltua vuonna 1827, kun taas hänen äitinsä asui kodissa kuolemaansa asti vuonna 1852. Yksi presidentin nuoremmista veljistä William Hawkins Polk oli viimeinen Polk, joka asui suoraan kodissa, ja hänen poikansa oli viimeinen Polk, joka omisti sen vuoteen 1871 asti. Se kulki useiden omistajien kautta ennen kuin presidentin iso-isoveljentytär osti sen yhdessä Tennesseen osavaltion kanssa vuonna 1929.
(Museota ylläpitää James K. Polk Memorial Association, mutta Tennesseen osavaltio on antanut sen järjestön hoidettavaksi.
Joitakin ulkotilojen esineitä siirrettiin paikalle sen jälkeen, kun presidentin myöhempi koti Polk Place purettiin, mukaan lukien suihkulähde, puutarha-uurnat ja muita esineitä.
Kaikki ulkotilojen esineet siirrettiin paikalle sen jälkeen, kun Polk Place purettiin.