Po debaklu v roce 1900 doufal Coubertin v roce 1904 v lepší výsledky Spojených států, ale jeho naděje se nenaplnily. Hry byly původně přiděleny Chicagu. V roce 1903 se však v St. Louis měla konat velká světová výstava, Louisiana Purchase Exposition, na oslavu 100. výročí koupě Louisiany, ale organizátoři v St. Louis měli zpoždění v plánování, takže výstavu přesunuli na rok 1904, a organizátoři v St. Louis chtěli, aby olympijské hry byly součástí výstavy. Vyhrožovali, že pokud jim Chicago hry neumožní, uspořádají konkurenční olympijské hry. Chicago nakonec svolilo.
Hry byly velmi podobné těm z roku 1900 – trvaly téměř pět měsíců, řada akcí nebyla označena jako olympijské, ale pouze jako mistrovství veletrhu, je obtížné určit, které sporty a akce byly definitivně na programu olympiády, do programu se dostala řada neobvyklých sportů a akcí a hry byly většinou doplňkem veletrhu. James Sullivan, jehož oficiální titul zněl „šéf oddělení sekce tělesné kultury výstavy Louisiana Purchase Exposition“, a byl tedy ředitelem olympijských her, označil téměř každou akci, která se konala v souvislosti s výstavou Louisiana Purchase Exposition, za olympijskou akci, což přispělo ke zmatku pro budoucí badatele olympijských her.
Coubertin se olympijských her v roce 1904 ani nezúčastnil a místo sebe vyslal dva delegáty MOV z Maďarska a Německa. Když se dozvěděl o dění v Saint Louis, byl zděšen, ale nikdy ne více, než když se dozvěděl o „Antropologických dnech“. Organizátoři veletrhu vypsali několikadenní „olympijské“ soutěže mezi několika takzvanými primitivními kmeny, které byly na výstavě vystavovány. Byli mezi nimi Pygmejové, Patagonci, Filipínci, indiánské kmeny, japonští Ainové a některé asijské kmeny. Soutěže zahrnovaly hod bolosem, boj v bahně a šplh na namazanou tyč. Coubertina o těchto akcích informoval maďarský člen MOV Ferenc Kemény, který napsal: „Byl jsem přítomen nejen sportovnímu klání, ale také veletrhu, kde se sportovalo, kde se podvádělo, kde se pro legraci vystavovaly příšery“. Coubertin prozíravě poznamenal: „Pokud jde o tuto pobuřující šarádu, ztratí samozřejmě na přitažlivosti, až se černí, červení a žlutí muži naučí běhat, skákat a házet a nechají bílé muže za sebou.“
Stejně jako v roce 1900 se velké publicity jako olympijskému sportu dostalo pouze atletice (lehká & atletika). Tyto závody byly prakticky mistrovstvím amerických klubů a Albert Spalding ostatně věnoval trofej pro americký klub, který v závodě získal nejvíce bodů. O vítěze trofeje se vedl ostrý spor mezi Chicagskou atletickou asociací a Newyorským atletickým klubem a vítězství newyorského AC bylo chicagským klubem zpochybněno, když tvrdil, že v soutěži v přetahování lanem bylo použito „zvonění“. Ačkoli je překonali sportovci v jiných sportech, americká čtveřice Archie Hahn, Harry Hillman, Jim Lightbody a Ray Ewry získala po třech zlatých medailích v lehké atletice a získala většinu pozornosti médií.
V ostatních sportech byla americká nadvláda téměř stejně úplná vzhledem k tomu, že se her zúčastnilo jen několik dalších zemí a soutěžilo jen velmi málo zahraničních sportovců. Je třeba poznamenat, že v těchto letech sportovci často soutěžili prakticky jako jednotlivci, bez skutečných národních týmů. Tak tomu bylo i v případě Kubánce Félixe Carvajala, který do St. Louis odcestoval za peníze získané při pořádání různých exhibic v Havaně. Zastavil se v New Orleansu, kde prohrál peníze ve hře na blbosti, a tak se vydal stopem do St Louis, aby se zúčastnil maratonu. Na startovní čáře se objevil v těžkých botách, dlouhých kalhotách a košili s dlouhými rukávy a nakonec doběhl čtvrtý. Maratonu se zúčastnili také dva příslušníci černošského kmene Zuluů, kteří byli součástí výstavy o búrské válce na veletrhu, Len Taunyane a Jan Mashiani. Ironií osudu jsou považováni za první olympijské závodníky z Jihoafrické republiky. Jedním z dalších pozoruhodných úspěchů roku 1904 byl Oliver Kirk, který získal dvě zlaté medaile v boxu, a to ve dvou různých váhových kategoriích, což je olympijský rekord, který již jistě nebude nikdy vyrovnán.
K velké mystifikaci atletických soutěží na olympijských hrách v roce 1904 došlo v maratonském závodě. Vítězem se stal Američan anglického původu Tom Hicks, ale prvním běžcem, který přišel na stadion, byl Fred Lorz, rovněž ze Spojených států. Nechal se vyfotografovat s Alicí Rooseveltovou, dcerou Teddyho Roosevelta, než vyšlo najevo, že přestal běžet a odjel autem těsně před stadion. AAU ho „doživotně“ diskvalifikovala, i když toto rozhodnutí bylo včas zrušeno, aby Lorz v roce 1905 vyhrál bostonský maraton.
Coubertin se po roce 1904 zapřísahal, že už nikdy nebude pořádat olympijské hry jako doprovodnou show k veletrhu.