După dezastrul din 1900, Coubertin spera la mai bine din partea Statelor Unite în 1904, dar nu și-a văzut speranțele împlinite. Jocurile au fost atribuite inițial orașului Chicago. Cu toate acestea, St. Louis urma să găzduiască un mare târg mondial în 1903, Louisiana Purchase Exposition, pentru a sărbători cea de-a 100-a aniversare a cumpărării Louisianei, dar organizatorii din St. Louis erau în întârziere cu planificarea, așa că au amânat expoziția pentru 1904, iar organizatorii din St. Louis au dorit ca Jocurile Olimpice să facă parte din târg. Aceștia au amenințat că vor organiza olimpiade concurente dacă Chicago nu le va permite să organizeze Jocurile. Chicago a consimțit în cele din urmă.
Jocurile au fost foarte asemănătoare cu cele din 1900 – au durat aproape cinci luni, multe dintre evenimente nu au fost etichetate ca fiind olimpice, ci doar ca fiind campionate ale târgului, este dificil de știut care sporturi și evenimente au fost cu siguranță în programul olimpic, o serie de sporturi și evenimente neobișnuite și-au văzut drumul spre program, iar Jocurile au fost în mare parte o gândire ulterioară la târg. James Sullivan, al cărui titlu oficial era „Chief of the Department of Physical Culture Section of the Louisiana Purchase Exposition” și, prin urmare, era directorul Jocurilor Olimpice, a numit aproape fiecare eveniment care a avut loc în legătură cu Louisiana Purchase Exposition ca fiind un eveniment olimpic, adăugând confuzie pentru viitorii cercetători olimpici.
Coubertin nici măcar nu a participat la Jocurile Olimpice din 1904, trimițând în locul său doi delegați ai CIO din Ungaria și Germania. El a fost îngrozit când a auzit despre evenimentele din St. Louis, dar niciodată mai mult decât atunci când a auzit despre „Zilele Antropologice”. Organizatorii Târgului au disputat câteva zile de competiții „olimpice” între mai multe triburi așa-zis primitive care erau expuse la Expoziție. Printre acestea se numărau pigmei, patagoni, filipinezi, triburi de indieni nativi americani, Ainus japonezi și anumite triburi asiatice. Evenimentele includeau aruncarea de bolos, lupte în noroi și urcarea pe un stâlp unsuros. Coubertin a fost informat despre aceste evenimente de către membrul maghiar al CIO, Ferenc Kemény, care a scris: „Nu am fost prezent doar la un concurs sportiv, ci și la un târg unde se făceau sporturi, unde se trișa, unde monștrii erau expuși în glumă”. Coubertin a notat cu clarviziune: „În ceea ce privește această șaradă scandaloasă, ea își va pierde, bineînțeles, farmecul atunci când negrii, roșiii și galbenii vor învăța să alerge, să sară și să arunce, lăsându-i pe albi în urma lor.”
Ca și în 1900, doar atletismul (atletismul pe pistă & câmp) a primit o mare publicitate ca fiind un sport olimpic. Aceste probe erau practic un campionat al cluburilor americane și, de fapt, Albert Spalding a donat un trofeu pentru clubul american care obținea cele mai multe puncte în această probă. Câștigătorul trofeului a fost viu disputat între Asociația Atletică din Chicago și Clubul Atletic din New York, iar victoria AC din New York a fost contestată de clubul din Chicago atunci când acesta a susținut că în proba de tragere la sorți a fost folosită o „sonerie”. Deși a fost depășit de atleți din alte sporturi, cvartetul american format din Archie Hahn, Harry Hillman, Jim Lightbody și Ray Ewry a câștigat câte trei medalii de aur la atletism și a primit cea mai mare parte a atenției mass-media.
În alte sporturi, dominația americană a fost aproape la fel de completă, datorită faptului că doar câteva alte țări au participat la Jocuri, iar foarte puțini atleți străini au concurat. Trebuie remarcat faptul că, în acei ani, sportivii concurau adesea practic ca indivizi, neexistând adevărate echipe naționale. Astfel, cazul cubanezului Félix Carvajal, care a călătorit la St. Louis cu ajutorul banilor strânși în urma organizării diferitelor expoziții în Havana. S-a oprit în New Orleans și și-a pierdut banii la un joc de zaruri, așa că a făcut autostopul până la St. Louis pentru a participa la maraton. S-a prezentat la linia de start purtând pantofi grei, pantaloni lungi și o cămașă cu mânecă lungă, iar în cele din urmă a terminat pe locul patru. Doi membri ai tribului Zulu de culoare care făceau parte din expoziția despre Războiul Boer de la târg, Len Taunyane și Jan Mashiani, au concurat, de asemenea, la maraton. În mod ironic, ei sunt considerați a fi primii concurenți olimpici din Africa de Sud. O altă realizare notabilă în 1904 a fost cea a lui Oliver Kirk, care a câștigat două medalii de aur la box, în două categorii de greutate diferite, un record olimpic care cu siguranță nu va mai fi egalat niciodată.
Marea păcăleală a probelor atletice de la Jocurile Olimpice din 1904 a avut loc în cursa de maraton. Câștigătorul a fost americanul de origine engleză Tom Hicks, dar primul alergător care a intrat pe stadion a fost Fred Lorz, tot din Statele Unite. Acesta s-a fotografiat cu Alice Roosevelt, fiica lui Teddy Roosevelt, înainte de a se afla că s-a oprit din alergare și a făcut o plimbare cu mașina până în afara stadionului. AAU l-a descalificat „pe viață”, deși această decizie a fost anulată la timp pentru ca Lorz să câștige maratonul de la Boston din 1905.
Coubertin a jurat după 1904 că nu va mai organiza niciodată Jocurile Olimpice ca un spectacol secundar la un târg.
.