Az 1900-as kudarc után Coubertin jobbat remélt az Egyesült Államoktól 1904-ben, de reményei nem váltak valóra. A játékokat eredetileg Chicagónak ítélték oda. Azonban 1903-ban St. Louis adott volna otthont egy nagy világkiállításnak, a Louisiana Purchase Expositionnak, a Louisiana Purchase 100. évfordulója alkalmából, de a St. Louis-i szervezők késésben voltak a tervezéssel, ezért 1904-re halasztották a kiállítást, és a St. Louis-i szervezők azt akarták, hogy az olimpiai játékok a vásár részét képezzék. Azzal fenyegetőztek, hogy konkurens olimpiát rendeznek, ha Chicago nem engedi meg nekik a játékokat. Chicago végül engedett.
A játékok nagyon hasonlítottak az 1900-ashoz – majdnem öt hónapig tartottak, sok eseményt nem olimpiai, hanem csak a vásár bajnokságaként jelöltek meg, nehéz tudni, hogy mely sportágak és események szerepeltek biztosan az olimpiai programban, számos szokatlan sportág és esemény látott helyet a programban, és a játékok többnyire csak utólag kerültek be a vásárba. James Sullivan, akinek hivatalos címe “a Louisiana Purchase Exposition testkulturális részlegének vezetője” volt, és így az olimpiai játékok igazgatója, szinte minden eseményt, amely a Louisiana Purchase Expositionhoz kapcsolódott, olimpiai eseménynek nevezett, tovább növelve a zavart a későbbi olimpiakutatók számára.
Coubertin 1904-ben nem is vett részt az olimpián, helyette két NOB-delegáltat küldött Magyarországról és Németországból. Megdöbbent, amikor hallott a St. Louisban történtekről, de soha jobban, mint amikor az “Antropológiai Napokról” hallott. A vásár szervezői több napos “olimpiai” versenyeket hirdettek több úgynevezett primitív törzs között, akiket a kiállításon állítottak ki. Ezek között voltak pigmeusok, patagóniaiak, filippínók, amerikai indián törzsek, japán ainuk és bizonyos ázsiai törzsek. A versenyszámok között szerepelt a bólódobás, a sárharc és a zsírral megkent rúd megmászása. Coubertin ezekről az eseményekről Kemény Ferenc magyar NOB-tagtól értesült, aki ezt írta: “Nemcsak egy sportversenyen voltam jelen, hanem egy vásáron is, ahol sportoltak, ahol csaltak, ahol viccből szörnyeket állítottak ki”. Coubertin előrelátóan megjegyezte: “Ami ezt a felháborító színjátékot illeti, természetesen elveszíti vonzerejét, amikor a feketék, vörösök és sárgák megtanulnak futni, ugrani és dobni, és maguk mögött hagyják a fehéreket.”
Az 1900-as évhez hasonlóan csak az atlétika (atlétika & pálya) kapott nagy nyilvánosságot mint olimpiai sportág. Ezek a versenyszámok gyakorlatilag amerikai klubbajnokságnak számítottak, sőt, Albert Spalding trófeát adományozott annak az amerikai klubnak, amelyik a legtöbb pontot szerezte a versenyszámban. A trófea győzteséért a Chicago Athletic Association és a New York Athletic Club között éles küzdelem folyt, és a New York AC győzelmét a chicagói klub vitatta, amikor azt állította, hogy a kötélhúzás versenyszámban egy “csörgőt” használtak. Bár más sportágak atlétái is felülmúlták őket, az Archie Hahn, Harry Hillman, Jim Lightbody és Ray Ewry alkotta amerikai négyes egyenként három aranyérmet nyert atlétikában, és ez kapta a média figyelmének nagy részét.
A többi sportágban az amerikai dominancia majdnem ugyanilyen teljes volt, köszönhetően annak, hogy csak néhány más ország vett részt a játékokon, és nagyon kevés külföldi atléta versenyzett. Meg kell jegyezni, hogy azokban az években a sportolók gyakran gyakorlatilag egyéniben versenyeztek, igazi nemzeti csapatok nélkül. Ilyen volt például a kubai Félix Carvajal esete, aki a havannai különböző kiállítások megrendezéséből származó pénzből utazott St. Louisba. New Orleansban megállt, és egy szaros játékban elvesztette a pénzét, ezért stoppal ment St. Louisba, hogy részt vegyen a maratonon. Nehéz cipőben, hosszú nadrágban és hosszú ujjú ingben jelent meg a rajtvonalnál, és végül negyedik lett. Két fekete zulu törzsfő, akik a vásáron megrendezett búrháborús kiállításon vettek részt, Len Taunyane és Jan Mashiani szintén indult a maratonon. Ironikus módon őket tartják az első dél-afrikai olimpiai versenyzőknek. Egy másik figyelemre méltó eredményt ért el 1904-ben Oliver Kirk, aki két aranyérmet nyert ökölvívásban, két különböző súlycsoportban, ami olyan olimpiai rekord, amelyet minden bizonnyal soha nem fognak elérni.
Az 1904-es olimpia atlétikai eseményeinek nagy átverése a maratoni futásban történt. A győztes az angol származású amerikai Tom Hicks volt, de az első futó, aki belépett a stadionba, a szintén amerikai Fred Lorz volt. Lefényképezkedett Alice Roosevelt-tel, Teddy Roosevelt lányával, mielőtt kiderült volna, hogy abbahagyta a futást, és kocsikázni ment közvetlenül a stadionon kívülre. Az AAU “életre szólóan” kizárta őt, bár ezt a döntést időben visszavonták, hogy Lorz megnyerje az 1905-ös bostoni maratont.
Coubertin 1904 után megfogadta, hogy soha többé nem fogja az olimpiát egy vásár mellékszálának tekinteni.