Casa James K. Polk este situată chiar la vest de centrul comercial al orașului Columbia, la colțul de sud-vest al străzilor West 7th și South High. Este o clădire din cărămidă în formă de L, cu două etaje, cu un acoperiș cu două ape. Fațada frontală, orientată spre West 7th Street, are trei travee, iar intrarea principală se află în cea mai din dreapta, încastrată într-o deschidere cu arc segmentat. Ușa este flancată de ferestre laterale și este acoperită de o fereastră semiovală cu traforaj, iar pereții interiori ai nișei sunt lambriți. Celelalte travee adăpostesc ferestre, care sunt acoperite de lintere din cărămidă și de o cheie de boltă din piatră. Interiorul păstrează finisajele din perioada construcției, dar în rest a fost adaptat pentru expunerea în muzeu. Proprietatea include o reproducere a dependinței bucătăriei care ar fi fost prezentă în timpul reședinței lui Polk; niciuna dintre dependințele din vremea sa nu a supraviețuit.
Casa a fost construită în 1816 de Samuel Polk și a fost casa fiului său, președintele SUA James K. Polk, timp de șase ani, în perioada în care era tânăr adult. Este singura reședință privată asociată cu președintele Polk care a supraviețuit. James a locuit în casă până în 1824, din când în când, când a plecat să citească dreptul în Nashville, sub conducerea lui Felix Grundy, și pentru o perioadă de timp după întoarcerea sa în Columbia, unde și-a deschis cabinetul de avocatură. Se va muta într-o casă în josul străzii cu soția sa Sarah Childress cam în aceeași perioadă, în 1824, unde au petrecut cea mai lungă durată a vieții lor împreună. (Casa respectivă a fost distrusă de un incendiu la sfârșitul secolului al XIX-lea, iar în prezent este parcarea unei case funerare). Președintele avea să fie proprietarul Casei după moartea tatălui său în 1827, în timp ce mama sa a locuit în casă până la moartea sa în 1852. Unul dintre frații mai mici ai președintelui, William Hawkins Polk, a fost ultimul Polk care a locuit direct în casă, iar fiul său va fi ultimul Polk care o va deține până în 1871. A trecut prin mai mulți proprietari înainte de a fi achiziționată de stră-stră-strănepoata președintelui împreună cu statul Tennessee în 1929.
(Muzeul este operat de către James K. Polk Memorial Association, dar este încredințat organizației de către statul Tennessee.)
Câteva obiecte exterioare au fost mutate pe amplasament după ce Polk Place, casa ulterioară a președintelui, a fost demolată, inclusiv fântâna, urnele de grădină și alte piese.
.