Het James K. Polk Home ligt even ten westen van het commerciële centrum van Columbia, op de zuidwestelijke hoek van West 7th en South High Streets. Het is een L-vormig bakstenen gebouw, twee verdiepingen hoog, met een zadeldak. De voorgevel, gericht naar West 7th Street, is drie traveeën breed, met de hoofdingang in het meest rechtse travee, verzonken in een opening met segmentboog. De deur wordt geflankeerd door zijlichten en bekroond door een halfovaal bovenlicht met traceerwerk, en de binnenmuren van de nis zijn voorzien van panelen. In de andere traveeën bevinden zich ramen, die bekroond worden door bakstenen lateien en een stenen sluitsteen. Het interieur heeft nog afwerkingen uit de tijd van de bouw, maar is verder aangepast voor museale doeleinden. Het pand bevat een reproductie van de keuken bijgebouw dat aanwezig zou zijn geweest tijdens Polk’s residentie; geen van de bijgebouwen uit zijn tijd overleven.
Het huis werd gebouwd in 1816 door Samuel Polk, en was het huis van zijn zoon, de Amerikaanse president James K. Polk, voor zes jaar als jong volwassene. Het is de enige bewaard gebleven privé-woning die met president Polk in verband wordt gebracht. James woonde in het huis tot 1824, af en toe, toen hij vertrok om in Nashville rechten te gaan studeren onder Felix Grundy, en na zijn terugkeer een tijdlang in Columbia, waar hij zijn advocatenpraktijk opende. Rond diezelfde tijd in 1824 zou hij met zijn vrouw Sarah Childress een huis aan het eind van de straat betrekken, waar zij het langst van hun leven samen doorbrachten. (Dat huis werd aan het eind van de 19e eeuw door brand verwoest en is nu een parkeerplaats van een begrafenisonderneming). De president zou na de dood van zijn vader in 1827 eigenaar worden van het tehuis, terwijl zijn moeder er tot haar dood in 1852 zou blijven wonen. Een van de jongere broers van de president, William Hawkins Polk, was de laatste Polk die direct in het huis woonde, en zijn zoon zou de laatste Polk zijn die het tot 1871 zou bezitten. Het huis heeft verschillende eigenaren gehad voordat het in 1929 werd gekocht door de achternicht van de president en de staat Tennessee.
(Het museum wordt beheerd door de James K. Polk Memorial Association, maar is aan de organisatie toevertrouwd door de staat Tennessee.)
Enkele voorwerpen aan de buitenkant werden verplaatst nadat Polk Place, het latere huis van de president, was afgebroken, waaronder de fontein, tuinurnen en andere stukken.