A James K. Polk otthon Columbia központi belvárosi kereskedelmi negyedétől nyugatra, a West 7th és South High Streets délnyugati sarkán található. Ez egy L alakú, kétemeletes téglaépület, nyeregtetővel. A West 7th Street felé néző homlokzat három öblös, a főbejárat a jobb szélső öblösben van, egy szegmensíves nyílásba süllyesztve. Az ajtót oldalablakok szegélyezik, és egy félig ovális, függőfolyosós ablak zárja le, a mélyedés belső falai pedig lambériázottak. A többi öblözetben ablakok találhatók, amelyeket téglából készült karzatok és kő zárókövek zárnak le. A belső térben megmaradtak az építés korabeli felületek, de egyébként a múzeumi kiállításokhoz igazították. Az ingatlanhoz tartozik a konyhai melléképület reprodukciója, amely Polk tartózkodása idején állhatott; az ő korából egyetlen melléképület sem maradt fenn.
A házat 1816-ban Samuel Polk építette, és fiatal felnőttként hat évig volt fia, James K. Polk amerikai elnök otthona. Ez az egyetlen fennmaradt, Polk elnökhöz köthető magánlakás. James 1824-ig élt a házban, felváltva, amikor is elhagyta azt, hogy Nashville-ben Felix Grundy mellett jogot tanuljon, majd visszatérése után egy ideig Columbiában élt, ahol ügyvédi irodát nyitott. Nagyjából ugyanebben az időben, 1824-ben költözött feleségével, Sarah Childresszel az utcában lévő házba, ahol életük leghosszabb idejét töltötték együtt. (Ez a ház a 19. század végén tűzvészben elpusztult, és jelenleg egy temetkezési vállalat parkolója). Az elnök apja 1827-ben bekövetkezett halála után az otthon tulajdonosa lett, míg édesanyja 1852-ben bekövetkezett haláláig élt benne. Az elnök egyik öccse, William Hawkins Polk volt az utolsó Polk, aki közvetlenül az otthonban lakott, és az ő fia volt az utolsó Polk, aki 1871-ig birtokolta az otthont. Több tulajdonoson is átment, mielőtt 1929-ben Tennessee állammal együtt az elnök dédunokahúga vásárolta meg.
(A múzeumot a James K. Polk Memorial Association működteti, de Tennessee állam a szervezetet bízza meg vele.)
Az elnök későbbi otthonának, a Polk Place-nek a lebontása után néhány külső tárgyat, köztük a szökőkutat, a kerti urnákat és más darabokat a helyszínre költöztették.