Na het debacle van 1900 hoopte Coubertin op beterschap van de Verenigde Staten in 1904, maar hij zag zijn hoop niet gerealiseerd. De Spelen werden oorspronkelijk toegekend aan Chicago. St. Louis zou echter in 1903 een grote wereldtentoonstelling organiseren, de Louisiana Purchase Exposition, ter viering van de 100ste verjaardag van de Louisiana Purchase, maar de organisatoren van St. Louis liepen achter met hun planning zodat ze de tentoonstelling naar 1904 verschoven, en de organisatoren van St. Zij dreigden met concurrerende Olympische Spelen als Chicago hen de Spelen niet zou toestaan. Chicago stemde uiteindelijk toe.
De Spelen leken sterk op die van 1900 – ze duurden bijna vijf maanden, veel van de evenementen werden niet als Olympisch bestempeld maar alleen als kampioenschappen van de jaarbeurs, het is moeilijk te achterhalen welke sporten en evenementen zeker op het Olympisch programma stonden, een aantal ongebruikelijke sporten en evenementen vonden hun weg naar het programma, en de Spelen waren meestal een bijzaak voor de jaarbeurs. James Sullivan, wiens officiële titel was “Chief of the Department of Physical Culture Section of the Louisiana Purchase Exposition” en dus de directeur van de Olympische Spelen was, noemde bijna elk evenement dat plaatsvond in samenhang met de Louisiana Purchase Exposition een Olympisch evenement, wat de verwarring voor toekomstige Olympische onderzoekers nog vergrootte.
Coubertin was zelfs niet aanwezig op de Olympische Spelen in 1904, maar stuurde twee IOC afgevaardigden uit Hongarije en Duitsland in zijn plaats. Hij was ontzet toen hij hoorde van de gebeurtenissen in St. Louis, maar nooit meer dan toen hij hoorde over de “Antropologische Dagen”. De organisatoren van de tentoonstelling hielden een aantal dagen “Olympische” wedstrijden tussen verschillende zogenaamde primitieve stammen die op de tentoonstelling werden tentoongesteld. Daaronder waren Pygmeeën, Patagoniërs, Filippino’s, indianenstammen uit de Verenigde Staten, Japanse Ainus, en bepaalde Aziatische stammen. De evenementen omvatten onder meer boloswerpen, moddergevechten en het beklimmen van een ingevette paal. Coubertin werd over deze evenementen ingelicht door het Hongaarse IOC-lid Ferenc Kemény, die schreef: “Ik was niet alleen aanwezig op een sportwedstrijd, maar ook op een kermis waar werd gesport, waar werd vals gespeeld, waar monsters voor de grap werden tentoongesteld.” Coubertin merkte al vroeg op: “Wat die schandelijke poppenkast betreft, die zal natuurlijk zijn aantrekkingskracht verliezen wanneer zwarte mannen, rode mannen en gele mannen leren rennen, springen en gooien, en de blanken achter zich laten.”
Net als in 1900 kreeg alleen de atletiek (atletiek & veld) grote publiciteit als Olympische sport. Deze wedstrijden waren in feite een Amerikaans clubkampioenschap, en Albert Spalding schonk zelfs een trofee voor de Amerikaanse club die de meeste punten in het evenement scoorde. De winnaar van de trofee werd fel bevochten door de Chicago Athletic Association en de New York Athletic Club. De overwinning van de New York Athletic Club werd door de club van Chicago betwist toen deze beweerde dat een “ringer” was gebruikt bij het touwtrekken. Hoewel overtroffen door atleten in andere sporten, won het Amerikaanse viertal van Archie Hahn, Harry Hillman, Jim Lightbody, en Ray Ewry elk drie gouden medailles in track and field en kreeg het grootste deel van de media-aandacht.
In andere sporten was de Amerikaanse dominantie bijna net zo volledig, als gevolg van het feit dat slechts een paar andere landen de Spelen bijwoonden, en er zeer weinig buitenlandse atleten deelnamen. Er zij op gewezen dat de atleten in die jaren vaak als individu aan de Spelen deelnamen, zonder echte nationale ploegen. Zo was er het geval van Félix Carvajal uit Cuba, die naar St. Louis reisde met geld dat hij bij de organisatie van verschillende tentoonstellingen in Havana had ingezameld. Hij stopte in New Orleans en verloor zijn geld bij een dubbelspel, dus liftte hij naar St. Louis om mee te doen aan de marathon. Hij verscheen aan de startlijn met zware schoenen, een lange broek en een hemd met lange mouwen, en eindigde uiteindelijk als vierde. Twee zwarte Zoeloe-stamleden die deel uitmaakten van de tentoonstelling over de Boerenoorlog op de beurs, Len Taunyane en Jan Mashiani, deden ook mee aan de marathon. Ironisch genoeg worden zij beschouwd als de eerste Olympische deelnemers uit Zuid-Afrika. Een andere opmerkelijke prestatie in 1904 was Oliver Kirk, die twee gouden medailles won in het boksen, in twee verschillende gewichtsklassen, een Olympisch record dat zeker nooit zal worden geëvenaard.
De grote schertsvertoning van de atletiekwedstrijden op de Olympische Spelen van 1904 vond plaats in de marathonrace. De winnaar was de in Engeland geboren Amerikaan Tom Hicks, maar de eerste loper die het stadion binnenkwam was Fred Lorz, ook uit de Verenigde Staten. Hij liet zich fotograferen met Alice Roosevelt, de dochter van Teddy Roosevelt, voordat werd onthuld dat hij was gestopt met hardlopen en een autoritje had gemaakt tot net buiten het stadion. De AAU diskwalificeerde hem “voor het leven” hoewel die uitspraak op tijd werd herroepen zodat Lorz de Boston Marathon van 1905 kon winnen.
Coubertin zwoer na 1904 dat hij nooit meer de Olympische Spelen zou houden als een bijzaak op een kermis.