Nach dem Debakel von 1900 erhoffte sich Coubertin von den Vereinigten Staaten für 1904 Besserung, doch seine Hoffnungen wurden nicht erfüllt. Die Spiele waren ursprünglich an Chicago vergeben worden. Allerdings sollte in St. Louis 1903 eine große Weltausstellung stattfinden, die Louisiana Purchase Exposition, mit der der 100. Jahrestag des Louisiana Purchase gefeiert werden sollte, aber die Organisatoren in St. Louis waren mit ihrer Planung im Rückstand, so dass sie die Ausstellung auf 1904 verschoben, und die Organisatoren in St. Louis wollten, dass die Olympischen Spiele Teil der Messe waren. Sie drohten damit, konkurrierende Olympische Spiele abzuhalten, wenn Chicago ihnen die Spiele nicht gestatten würde. Chicago willigte schließlich ein.
Die Spiele waren dem Jahr 1900 sehr ähnlich – sie dauerten fast fünf Monate, viele der Veranstaltungen wurden nicht als olympisch, sondern nur als Meisterschaften der Messe bezeichnet, es ist schwer zu sagen, welche Sportarten und Veranstaltungen definitiv auf dem olympischen Programm standen, eine Reihe von ungewöhnlichen Sportarten und Veranstaltungen fanden ihren Weg ins Programm, und die Spiele waren meist ein Nebenprodukt der Messe. James Sullivan, dessen offizieller Titel „Chief of the Department of Physical Culture Section of the Louisiana Purchase Exposition“ lautete und der somit der Direktor der Olympischen Spiele war, bezeichnete fast jede Veranstaltung, die im Zusammenhang mit der Louisiana Purchase Exposition stattfand, als olympische Veranstaltung, was die Verwirrung für künftige Olympiaforscher noch vergrößerte.
Coubertin nahm 1904 nicht einmal an den Olympischen Spielen teil und schickte stattdessen zwei IOC-Delegierte aus Ungarn und Deutschland. Er war entsetzt, als er von den Ereignissen in St. Louis hörte, aber nie mehr als bei den „Anthropologischen Tagen“. Die Organisatoren der Messe veranstalteten mehrere Tage lang „olympische“ Wettkämpfe zwischen verschiedenen so genannten primitiven Stämmen, die auf der Ausstellung gezeigt wurden. Dazu gehörten Pygmäen, Patagonier, Filipinos, indianische Stämme, japanische Ainus und einige asiatische Stämme. Zu den Wettkämpfen gehörten das Werfen von Bolos, Schlammschlachten und das Klettern auf eine gefettete Stange. Coubertin erfuhr von diesen Veranstaltungen durch das ungarische IOC-Mitglied Ferenc Kemény, der schrieb: „Ich war nicht nur bei einem sportlichen Wettkampf anwesend, sondern auch auf einem Jahrmarkt, auf dem es Sport gab, auf dem geschummelt wurde und auf dem Ungeheuer zum Spaß ausgestellt wurden.“ Coubertin bemerkte vorausschauend: „Was diese unerhörte Scharade betrifft, so wird sie natürlich ihren Reiz verlieren, wenn Schwarze, Rote und Gelbe laufen, springen und werfen lernen und die Weißen hinter sich lassen.“
Wie schon im Jahr 1900 wurde nur die Leichtathletik (Leichtathletik & Feld) als olympische Sportart groß bekannt gemacht. Diese Wettkämpfe waren praktisch eine amerikanische Vereinsmeisterschaft, und tatsächlich stiftete Albert Spalding einen Pokal für den amerikanischen Verein, der die meisten Punkte in diesem Wettkampf erzielte. Der Gewinner der Trophäe war zwischen der Chicago Athletic Association und dem New York Athletic Club heiß umkämpft, und der Sieg des New Yorker AC wurde vom Chicagoer Club angefochten, als dieser behauptete, beim Tauziehen sei ein „Ringer“ eingesetzt worden. Obwohl sie von Athleten in anderen Sportarten übertroffen wurden, gewann das amerikanische Quartett Archie Hahn, Harry Hillman, Jim Lightbody und Ray Ewry jeweils drei Goldmedaillen in der Leichtathletik und erhielt die meiste Aufmerksamkeit der Medien.
In anderen Sportarten war die amerikanische Dominanz fast genauso groß, da nur wenige andere Länder an den Spielen teilnahmen und nur sehr wenige ausländische Athleten antraten. Es sei darauf hingewiesen, dass in jenen Jahren die Athleten oft als Einzelkämpfer antraten und es keine echten Nationalmannschaften gab. So auch im Fall von Félix Carvajal aus Kuba, der mit dem Geld, das er bei verschiedenen Ausstellungen in Havanna gesammelt hatte, nach St. Louis reiste. In New Orleans machte er einen Zwischenstopp und verlor sein Geld bei einem Würfelspiel, woraufhin er nach St. Louis trampte, um am Marathon teilzunehmen. Er ging mit schweren Schuhen, langen Hosen und einem langärmeligen Hemd an den Start und belegte schließlich den vierten Platz. Zwei schwarze Zulu-Stammesangehörige, die Teil der Ausstellung zum Burenkrieg auf der Messe waren, Len Taunyane und Jan Mashiani, nahmen ebenfalls am Marathon teil. Ironischerweise gelten sie als die ersten südafrikanischen Olympiateilnehmer. Eine weitere bemerkenswerte Leistung im Jahr 1904 war Oliver Kirk, der zwei Goldmedaillen im Boxen gewann, und zwar in zwei verschiedenen Gewichtsklassen – ein olympischer Rekord, der sicherlich nie wieder erreicht werden wird.
Der große Schwindel bei den Leichtathletikwettbewerben bei den Olympischen Spielen 1904 ereignete sich im Marathonlauf. Der Sieger war der in England geborene Amerikaner Tom Hicks, aber der erste Läufer, der das Stadion betrat, war Fred Lorz, ebenfalls aus den Vereinigten Staaten. Er ließ sich mit Alice Roosevelt, der Tochter von Teddy Roosevelt, fotografieren, bevor bekannt wurde, dass er den Lauf abgebrochen hatte und mit dem Auto bis kurz vor das Stadion gefahren war. Die AAU disqualifizierte ihn „auf Lebenszeit“, obwohl diese Entscheidung rechtzeitig aufgehoben wurde, damit Lorz den Boston-Marathon 1905 gewinnen konnte.
Coubertin schwor nach 1904, dass er die Olympischen Spiele nie wieder als Nebenschauplatz einer Messe abhalten würde.