James K. Polk Home ligger lige vest for det kommercielle centrum af Columbia, på det sydvestlige hjørne af West 7th og South High Streets. Det er en L-formet murstensbygning i to etager i højden med et sadeltag. Den forreste facade, der vender ud mod West 7th Street, er tre fag bred, med hovedindgangen i det yderste højre fag, forsænket i en åbning med segmentbuer. Døren er flankeret af sidelysvinduer og krones af et halvovalt sprossevindue med staffering, og de indvendige vægge i nichen er beklædt med paneler. I de andre fag er der vinduer, som er overdækket af murstenslinter og en stenkappe. Interiøret har bevaret en finish fra byggeperioden, men er ellers blevet tilpasset til museumsudstillinger. Ejendommen omfatter en reproduktion af den udbygning til køkkenet, som ville have været til stede under Polks ophold; ingen af udbygningerne fra hans tid er bevaret.
Huset blev bygget i 1816 af Samuel Polk og var hjem for hans søn, USA’s præsident James K. Polk, i seks år som ung voksen. Det er den eneste private bolig med tilknytning til præsident Polk, der har overlevet. James boede i huset indtil 1824 med mellemrum, hvor han forlod det for at læse jura i Nashville under Felix Grundy, og i en periode efter sin tilbagevenden til Columbia, hvor han åbnede sin advokatpraksis. Han ville flytte ind i et hjem længere nede ad gaden med sin kone Sarah Childress omkring samme tid i 1824, hvor de tilbragte den længste tid af deres liv sammen. (Dette hjem blev ødelagt af en brand i slutningen af det 19. århundrede og er i dag en parkeringsplads for en bedemandsforretning). Præsidenten ville eje hjemmet efter sin fars død i 1827, mens hans mor boede i hjemmet indtil sin død i 1852. En af præsidentens yngre brødre William Hawkins Polk var den sidste Polk til at bo direkte i hjemmet, og hans søn ville være den sidste Polk til at eje det indtil 1871. Det passerede gennem flere ejere, før det blev erhvervet af præsidentens tipolde niece sammen med staten Tennessee i 1929.
(Museet drives af James K. Polk Memorial Association, men er overdraget til organisationen af staten Tennessee.)
En del udvendige genstande blev flyttet på stedet, efter at Polk Place, præsidentens senere hjem, blev revet ned, herunder springvandet, haveurnerne og andre stykker.