Po klęsce 1900, Coubertin miał nadzieję na lepsze ze Stanów Zjednoczonych w 1904 roku, ale nie widział swoje nadzieje zrealizowane. Igrzyska zostały pierwotnie przyznane Chicago. Louis miało być gospodarzem wielkich światowych targów w 1903 roku, Louisiana Purchase Exposition, dla uczczenia setnej rocznicy zakupu Luizjany, ale organizatorzy z St. Louis mieli opóźnienia w planowaniu, więc przesunęli targi na rok 1904, a organizatorzy z St. Louis chcieli, aby Igrzyska Olimpijskie były częścią targów. Louis chcieli, aby Igrzyska Olimpijskie były częścią targów. Zagrozili, że zorganizują konkurencyjne Igrzyska Olimpijskie, jeśli Chicago nie pozwoli im na ich przeprowadzenie. Chicago w końcu się zgodziło.
Igrzyska były bardzo podobne do tych z 1900 roku – trwały prawie pięć miesięcy, wiele z imprez nie było oznaczonych jako olimpijskie, a jedynie jako mistrzostwa targów, trudno jest określić, które sporty i imprezy były na pewno w programie olimpijskim, wiele nietypowych sportów i imprez znalazło się w programie, a igrzyska były w większości pomysłem po zakończeniu targów. James Sullivan, którego oficjalnym tytułem był „Chief of the Department of Physical Culture Section of the Louisiana Purchase Exposition” i tym samym był dyrektorem Igrzysk Olimpijskich, określił prawie każde wydarzenie, które miało miejsce w związku z Louisiana Purchase Exposition jako wydarzenie olimpijskie, dodając do tego zamieszania przyszłym badaczom Olimpiady.
Coubertin nawet nie uczestniczył w Olimpiadzie w 1904 roku, wysyłając w jego miejsce dwóch delegatów MKOl z Węgier i Niemiec. Był zbulwersowany, gdy usłyszał o wydarzeniach w St. Louis, ale nigdy bardziej niż wtedy, gdy usłyszał o „Dniach Antropologicznych”. Organizatorzy Targów zorganizowali kilkudniowe zawody „olimpijskie” wśród kilku tak zwanych prymitywnych plemion, które były wystawiane na Wystawie. Wśród nich byli Pigmeje, Patagończycy, Filipińczycy, plemiona Indian Ameryki Północnej, japońscy Ainusowie i niektóre plemiona azjatyckie. Wydarzenia obejmowały rzucanie bolosami, walkę w błocie i wspinanie się po wysmarowanym smarem słupie. Coubertin został poinformowany o tych wydarzeniach przez węgierskiego członka MKOl Ferenca Kemény, który napisał: „Byłem obecny nie tylko na zawodach sportowych, ale także na targach, gdzie były sporty, gdzie były oszustwa, gdzie potwory były wystawiane dla żartu.” Coubertin zauważył: „Jeśli chodzi o tę skandaliczną szaradę, to oczywiście straci ona swój urok, gdy czarni, czerwoni i żółci nauczą się biegać, skakać i rzucać, a białych zostawią za sobą.”
Jak w 1900 roku, tylko lekkoatletyka (bieżnia & polowa) zyskała wielki rozgłos jako sport olimpijski. Wydarzenia te były praktycznie mistrzostwami amerykańskich klubów, a w rzeczywistości Albert Spalding ufundował trofeum dla amerykańskiego klubu zdobywającego najwięcej punktów w zawodach. Gorąca rywalizacja o to trofeum toczyła się między Chicago Athletic Association a New York Athletic Club, a zwycięstwo New York AC zostało zakwestionowane przez klub z Chicago, który twierdził, że w zawodach w przeciąganiu liny użyto „dzwonka”. Chociaż przewyższali ich sportowcy z innych dyscyplin, amerykańska czwórka Archie Hahn, Harry Hillman, Jim Lightbody i Ray Ewry zdobyła po trzy złote medale w lekkoatletyce i otrzymała większość uwagi mediów.
W innych dyscyplinach dominacja Amerykanów była prawie tak samo kompletna, dzięki temu, że tylko kilka innych krajów uczestniczyło w igrzyskach, a bardzo niewielu zagranicznych sportowców startowało. Należy zauważyć, że w tamtych latach sportowcy często rywalizowali praktycznie jako jednostki, bez prawdziwych drużyn narodowych. Tak było w przypadku Félixa Carvajala z Kuby, który pojechał do St. Louis za pieniądze zebrane podczas organizowania różnych wystaw w Hawanie. Zatrzymał się w Nowym Orleanie i przegrał swoje pieniądze w grze w kości, więc pojechał autostopem do St. Pojawił się na linii startu w ciężkich butach, długich spodniach i koszuli z długimi rękawami, i ostatecznie zajął czwarte miejsce. Len Taunyane i Jan Mashiani, dwaj czarnoskórzy Zulusi, którzy brali udział w wystawie poświęconej wojnie burskiej na targach, również wzięli udział w maratonie. Jak na ironię, są oni uważani za pierwszych zawodników olimpijskich z RPA. Jednym z innych godnych uwagi osiągnięć w 1904 roku był Oliver Kirk, który zdobył dwa złote medale w boksie, w dwóch różnych kategoriach wagowych, co jest rekordem olimpijskim, który z pewnością nigdy nie zostanie wyrównany.
Wielkie oszustwo wśród wydarzeń sportowych na Olimpiadzie 1904 roku miało miejsce w wyścigu maratońskim. Zwycięzcą został urodzony w Anglii Amerykanin Tom Hicks, ale pierwszym biegaczem, który pojawił się na stadionie był Fred Lorz, również pochodzący ze Stanów Zjednoczonych. Zrobił sobie zdjęcie z Alice Roosevelt, córką Teddy’ego Roosevelta, zanim ujawniono, że przerwał bieg i udał się na przejażdżkę samochodem tuż przed stadion. AAU zdyskwalifikowała go „dożywotnio”, chociaż orzeczenie to zostało uchylone w czasie, gdy Lorz wygrał maraton bostoński w 1905 r.
Coubertin przysiągł po 1904 r., że nigdy więcej nie zorganizuje igrzysk olimpijskich jako pokazu dodatkowego do targów.