Dopo la debacle del 1900, Coubertin sperava in meglio dagli Stati Uniti nel 1904, ma non vide realizzate le sue speranze. I Giochi furono originariamente assegnati a Chicago. Tuttavia, St. Louis doveva ospitare una grande fiera mondiale nel 1903, la Louisiana Purchase Exposition, per celebrare il centesimo anniversario dell’acquisto della Louisiana, ma gli organizzatori di St. Louis erano in ritardo nella loro pianificazione così hanno spostato l’esposizione al 1904, e gli organizzatori di St. Minacciarono di tenere delle Olimpiadi concorrenti se Chicago non avesse permesso loro di avere i Giochi. Chicago alla fine acconsentì.
I Giochi furono molto simili a quelli del 1900 – durarono quasi cinque mesi, molti degli eventi non erano etichettati come olimpici ma solo come campionati della fiera, è difficile sapere quali sport ed eventi erano sicuramente nel programma olimpico, un certo numero di sport ed eventi insoliti videro la loro strada nel programma, e i Giochi furono per lo più un ripensamento della Fiera. James Sullivan, il cui titolo ufficiale era “Chief of the Department of Physical Culture Section of the Louisiana Purchase Exposition” ed era quindi il direttore dei Giochi Olimpici, definì quasi ogni evento che si verificava in concomitanza con la Louisiana Purchase Exposition come un evento olimpico, aggiungendo ulteriore confusione per i futuri ricercatori olimpici.
Coubertin non partecipò nemmeno alle Olimpiadi del 1904, inviando al suo posto due delegati del CIO provenienti da Ungheria e Germania. Rimase inorridito quando seppe degli avvenimenti di St. Louis, ma mai come quando seppe delle “Giornate Antropologiche”. Gli organizzatori della fiera avevano indetto diversi giorni di gare “olimpiche” tra diverse tribù cosiddette primitive che venivano esposte all’Esposizione. Tra queste c’erano pigmei, patagonici, filippini, tribù di indiani nativi americani, Ainus giapponesi e alcune tribù asiatiche. Gli eventi includevano il lancio di bolos, la lotta nel fango e l’arrampicata su un palo unto. Coubertin fu informato di questi eventi dal membro ungherese del CIO Ferenc Kemény, che scrisse: “Non ero solo presente ad una gara sportiva, ma anche ad una fiera dove si faceva sport, dove si barava, dove si esponevano mostri per gioco”. Coubertin notò preveggentemente: “Per quanto riguarda quell’oltraggiosa farsa, essa perderà naturalmente il suo fascino quando i neri, i rossi e i gialli impareranno a correre, saltare e lanciare, e si lasceranno alle spalle i bianchi.”
Come nel 1900, solo l’atletica (pista & di atletica) ricevette una grande pubblicità come sport olimpico. Questi eventi erano praticamente un campionato di club americano, e, infatti, Albert Spalding donò un trofeo per il club americano che segnava più punti nella manifestazione. Il vincitore del trofeo fu aspramente conteso tra la Chicago Athletic Association e il New York Athletic Club, e la vittoria del New York AC fu contestata dal club di Chicago quando sostennero che nel tiro alla fune era stato usato un “suonatore”. Anche se superati da atleti di altri sport, il quartetto americano composto da Archie Hahn, Harry Hillman, Jim Lightbody e Ray Ewry vinse tre medaglie d’oro ciascuno nell’atletica leggera e ricevette la maggior parte dell’attenzione dei media.
In altri sport, il dominio americano fu quasi altrettanto completo, a causa del fatto che solo pochi altri paesi parteciparono ai Giochi e pochissimi atleti stranieri gareggiarono. Va notato che in quegli anni, gli atleti spesso gareggiavano praticamente come individui, senza vere e proprie squadre nazionali. Così, il caso di Félix Carvajal di Cuba, che viaggiò a St. Louis utilizzando il denaro raccolto nell’allestimento di varie mostre all’Avana. Si fermò a New Orleans e perse i suoi soldi in una partita di merda, così fece l’autostop fino a St. Louis per correre la maratona. Si presentò sulla linea di partenza indossando scarpe pesanti, pantaloni lunghi e una camicia a maniche lunghe, e alla fine arrivò quarto. Anche due uomini neri delle tribù Zulu che facevano parte della mostra sulla guerra boera alla fiera, Len Taunyane e Jan Mashiani, gareggiarono nella maratona. Ironicamente, sono considerati i primi concorrenti olimpici del Sudafrica. Un altro risultato degno di nota nel 1904 fu Oliver Kirk, che vinse due medaglie d’oro nella boxe, in due diverse classi di peso, un record olimpico che sicuramente non sarà mai eguagliato.
La grande beffa degli eventi atletici alle Olimpiadi del 1904 avvenne nella gara di maratona. Il vincitore fu l’americano di origine inglese Tom Hicks, ma il primo corridore ad entrare nello stadio fu Fred Lorz, anche lui statunitense. Si fece fotografare con Alice Roosevelt, figlia di Teddy Roosevelt, prima che si scoprisse che aveva smesso di correre e aveva fatto un giro in macchina appena fuori dallo stadio. L’AAU lo squalificò “a vita” anche se quella sentenza fu annullata in tempo per Lorz a vincere la maratona di Boston del 1905.
Coubertin giurò dopo il 1904 che non avrebbe mai più tenuto le Olimpiadi come uno spettacolo collaterale di una fiera.