Efter debaclet 1900 hoppades Coubertin på bättre resultat från USA 1904, men hans förhoppningar förverkligades inte. Spelen tilldelades ursprungligen Chicago. Louis skulle dock vara värd för en stor världsutställning 1903, Louisiana Purchase Exposition, för att fira 100-årsminnet av Louisiana Purchase, men St Louis-organisatörerna låg efter i sin planering så de flyttade fram utställningen till 1904, och St Louis-organisatörerna ville att de olympiska spelen skulle vara en del av utställningen. De hotade att hålla konkurrerande olympiska spel om Chicago inte tillät dem att ha spelen. Chicago gav till slut med sig.
Spelen var mycket lika 1900 – de varade i nästan fem månader, många av evenemangen betecknades inte som olympiska utan endast som mästerskap på mässan, det är svårt att veta vilka idrotter och evenemang som definitivt fanns med på det olympiska programmet, ett antal ovanliga idrotter och evenemang såg sin väg till programmet, och spelen var mestadels en efterhandskonstruktion till mässan. James Sullivan, vars officiella titel var ”Chief of the Department of Physical Culture Section of the Louisiana Purchase Exposition” och som därmed var direktör för de olympiska spelen, betecknade nästan alla evenemang som ägde rum i samband med Louisiana Purchase Exposition som olympiska evenemang, vilket ökade förvirringen för framtida OS-forskare.
Coubertin deltog inte ens i de olympiska spelen 1904, utan skickade i stället två IOK-delegater från Ungern och Tyskland. Han blev förfärad när han hörde talas om vad som hände i St Louis, men aldrig mer än när han hörde talas om ”antropologiska dagar”. Mässans arrangörer utlyste flera dagars ”olympiska” tävlingar mellan flera så kallade primitiva stammar som ställdes ut på utställningen. Bland dessa fanns pygméer, patagonier, filippiner, indianstammar från Amerika, japanska ainus och vissa asiatiska stammar. Bland tävlingarna fanns bland annat kastning av bolos, lerkamp och klättring i en smord stång. Coubertin informerades om dessa evenemang av den ungerske IOK-medlemmen Ferenc Kemény, som skrev: ”Jag var inte bara närvarande vid en idrottstävling utan också vid en mässa där det förekom sport, där det förekom fusk, där monster visades upp för skojs skull”. Coubertin noterade förutseende: ”När det gäller denna skandalösa charad kommer den naturligtvis att förlora sin attraktionskraft när svarta män, röda män och gula män lär sig att springa, hoppa och kasta och lämnar de vita männen bakom sig.”
Som 1900 var det bara friidrotten (friidrott &fältet) som fick någon större publicitet som olympisk idrott. Dessa tävlingar var praktiskt taget ett amerikanskt klubbmästerskap, och faktum är att Albert Spalding donerade en trofé till den amerikanska klubb som fick flest poäng i tävlingen. Troféns vinnare var hårt omstridd mellan Chicago Athletic Association och New York Athletic Club, och New York AC:s seger bestreds av Chicagoklubben när de hävdade att en ”ringer” hade använts i dragkampstävlingen. Även om de överträffades av idrottare i andra sporter, vann den amerikanska fyrklövern Archie Hahn, Harry Hillman, Jim Lightbody och Ray Ewry tre guldmedaljer vardera i friidrott och fick den största delen av mediernas uppmärksamhet.
I andra sporter var den amerikanska dominansen nästan lika fullständig, vilket berodde på att endast ett fåtal andra länder deltog i spelen och att mycket få utländska idrottare tävlade. Det bör noteras att idrottsmännen under dessa år ofta tävlade praktiskt taget som individer, utan några riktiga landslag. Detta gäller till exempel Félix Carvajal från Kuba, som reste till St Louis med hjälp av pengar som samlades in genom att anordna olika utställningar i Havanna. Han stannade till i New Orleans och förlorade sina pengar i ett crapspel, så han liftade till St. Louis för att springa i maratonloppet. Han dök upp på startlinjen iklädd tunga skor, långa byxor och en långärmad skjorta och slutade till slut på fjärde plats. Två svarta zulustammar som ingick i boerkrigsutställningen på mässan, Len Taunyane och Jan Mashiani, tävlade också i maratonloppet. Ironiskt nog anses de vara de första olympiska deltagarna från Sydafrika. En annan anmärkningsvärd prestation 1904 var Oliver Kirk, som vann två guldmedaljer i boxning, i två olika viktklasser, ett olympiskt rekord som säkerligen aldrig kommer att bli intakt.
Den stora bluffen bland de idrottsliga tävlingarna vid de olympiska spelen 1904 inträffade i maratonloppet. Vinnaren var den engelskfödde amerikanen Tom Hicks, men den första löparen som kom in på stadion var Fred Lorz, också han från USA. Han lät sig fotograferas med Alice Roosevelt, dotter till Teddy Roosevelt, innan det avslöjades att han slutat springa och tagit en biltur till strax utanför stadion. AAU diskvalificerade honom ”på livstid” även om det beslutet upphävdes i tid för Lorz att vinna 1905 års Boston Marathon.
Coubertin lovade efter 1904 att han aldrig mer skulle hålla de olympiska spelen som en sidoföreställning till en mässa.