James K. Polk Home ligger strax väster om det kommersiella centrumet i Columbia, i sydvästra hörnet av West 7th och South High Streets. Det är en L-formad tegelbyggnad i två våningar med sadeltak. Den främre fasaden, som vetter mot West 7th Street, är tre vikar bred, med huvudingången i den högra viken, infälld i en öppning med segmentbåge. Dörren flankeras av sidoljusfönster och toppas av ett halvovalt tvärgående fönster med tracering, och innerväggarna i fördjupningen är panelade. I de övriga vikarna finns fönster, som toppas av linjelister av tegel och en sten som hör till slutstenarna. Interiören har bevarat ytbehandlingar från byggnadstiden, men har i övrigt anpassats för museiföreställningar. På fastigheten finns en reproduktion av det uthus för köket som skulle ha funnits under Polks vistelse; inget av uthusen från hans tid finns kvar.
Huset byggdes 1816 av Samuel Polk, och var hemmet för hans son, USA:s president James K. Polk, i sex år när han var ung vuxen. Det är den enda privata bostad med anknytning till president Polk som finns bevarad. James bodde i huset fram till 1824 med jämna mellanrum, då han lämnade det för att läsa juridik i Nashville under Felix Grundy, och för en tid efter sin återkomst till Columbia, där han öppnade sin advokatbyrå. Han skulle flytta in i ett hem längre ner på gatan med sin hustru Sarah Childress ungefär vid samma tid 1824, där de tillbringade den längsta tiden av sina liv tillsammans. (Det hemmet förstördes av en brand i slutet av 1800-talet och är för närvarande en parkeringsplats för begravningsbyråer). Presidenten skulle äga hemmet efter sin fars död 1827 medan hans mor bodde i hemmet fram till sin död 1852. En av presidentens yngre bröder William Hawkins Polk var den sista Polk som direkt bodde i hemmet, och hans son skulle vara den sista Polk som ägde det fram till 1871. Det passerade genom flera ägare innan det förvärvades av presidentens gammelgrann brorsdotter tillsammans med delstaten Tennessee 1929.
(Museet drivs av James K. Polk Memorial Association, men anförtrotts organisationen av delstaten Tennessee.)
En del exteriörföremål flyttades på platsen efter det att Polk Place, presidentens senare hem, revs, bland annat fontänen, trädgårdsurnorna och andra föremål.