Après la débâcle de 1900, Coubertin espérait mieux des États-Unis en 1904, mais il ne vit pas ses espoirs se réaliser. Les Jeux avaient été initialement attribués à Chicago. Louis devait accueillir une grande exposition universelle en 1903, la Louisiana Purchase Exposition, pour célébrer le 100e anniversaire de l’achat de la Louisiane, mais les organisateurs de Saint-Louis avaient pris du retard dans leur planning et ont donc reporté l’exposition à 1904. Ils ont menacé d’organiser des Jeux olympiques concurrents si Chicago ne leur permettait pas d’avoir les Jeux. Chicago finit par acquiescer.
Les Jeux ressemblaient beaucoup à ceux de 1900 – ils duraient presque cinq mois, de nombreux événements n’étaient pas étiquetés comme olympiques mais seulement comme des championnats de la foire, il est difficile de savoir quels sports et événements étaient définitivement au programme olympique, un certain nombre de sports et d’événements inhabituels ont vu leur chemin vers le programme, et les Jeux étaient surtout une réflexion après coup pour la foire. James Sullivan, dont le titre officiel était « chef du département de la section de la culture physique de l’Exposition de l’achat de la Louisiane » et qui était donc le directeur des Jeux olympiques, a qualifié d’événement olympique presque tous les événements qui se sont produits en conjonction avec l’Exposition de l’achat de la Louisiane, ajoutant à la confusion pour les futurs chercheurs olympiques.
Coubertin n’a même pas assisté aux Jeux olympiques en 1904, envoyant deux délégués du CIO de Hongrie et d’Allemagne à sa place. Il fut consterné lorsqu’il entendit parler des événements de Saint-Louis, mais jamais autant que lorsqu’il entendit parler des « Journées anthropologiques ». Les organisateurs de l’Exposition ont organisé plusieurs jours de compétitions « olympiques » entre plusieurs tribus dites primitives qui étaient exposées à l’Exposition. Parmi celles-ci figuraient des Pygmées, des Patagoniens, des Philippins, des tribus indiennes d’Amérique du Nord, des Aïnus japonais et certaines tribus asiatiques. Les épreuves comprenaient le lancer de bolos, le combat dans la boue et l’escalade d’un poteau graissé. Coubertin a été informé de ces événements par le membre hongrois du CIO, Ferenc Kemény, qui a écrit : « Je n’ai pas seulement assisté à un concours sportif, mais aussi à une foire où l’on faisait du sport, où l’on trichait, où l’on exhibait des monstres pour rire. » Coubertin notait avec prescience : « Quant à cette mascarade scandaleuse, elle perdra bien sûr de son attrait lorsque les hommes noirs, les hommes rouges et les hommes jaunes apprendront à courir, à sauter et à lancer, et laisseront les hommes blancs derrière eux. »
Comme en 1900, seul l’athlétisme (piste &de terrain) reçut une grande publicité comme étant un sport olympique. Ces épreuves étaient pratiquement un championnat de club américain et, en fait, Albert Spalding a fait don d’un trophée pour le club américain marquant le plus de points dans l’épreuve. Le vainqueur du trophée est âprement disputé entre la Chicago Athletic Association et le New York Athletic Club, et la victoire du New York AC est contestée par le club de Chicago lorsqu’il prétend qu’un » ringer » a été utilisé dans l’épreuve de tir à la corde. Bien que surpassés par des athlètes d’autres sports, le quatuor américain composé d’Archie Hahn, Harry Hillman, Jim Lightbody et Ray Ewry remporta trois médailles d’or chacun en athlétisme et reçut l’essentiel de l’attention des médias.
Dans les autres sports, la domination américaine était presque aussi complète, en raison du fait que seuls quelques autres pays assistaient aux Jeux et que très peu d’athlètes étrangers concouraient. Il faut noter que dans ces années-là, les athlètes concouraient souvent pratiquement à titre individuel, sans véritable équipe nationale. Ainsi, le cas de Félix Carvajal, de Cuba, qui s’est rendu à Saint-Louis grâce à l’argent récolté en organisant diverses expositions à La Havane. Il s’est arrêté à la Nouvelle-Orléans et a perdu son argent dans un jeu de dés. Il a donc fait de l’auto-stop jusqu’à Saint-Louis pour participer au marathon. Il s’est présenté sur la ligne de départ avec de grosses chaussures, un pantalon long et une chemise à manches longues, et a finalement terminé quatrième. Deux membres noirs de la tribu des Zoulous qui faisaient partie de l’exposition sur la guerre des Boers à la foire, Len Taunyane et Jan Mashiani, ont également participé au marathon. Ironiquement, ils sont considérés comme les premiers concurrents olympiques d’Afrique du Sud. Un autre exploit notable en 1904 est celui d’Oliver Kirk, qui a remporté deux médailles d’or en boxe, dans deux catégories de poids différentes, un record olympique qui ne sera sûrement jamais égalé.
Le grand canular des épreuves athlétiques des Jeux olympiques de 1904 s’est produit dans la course de marathon. Le vainqueur était l’Américain d’origine anglaise Tom Hicks, mais le premier coureur à entrer dans le stade était Fred Lorz, également des États-Unis. Il se fait prendre en photo avec Alice Roosevelt, fille de Teddy Roosevelt, avant qu’il ne soit révélé qu’il a arrêté de courir et s’est rendu en voiture juste à l’extérieur du stade. L’AUA l’a disqualifié « à vie », bien que cette décision ait été annulée à temps pour que Lorz gagne le marathon de Boston en 1905.
Coubertin a juré après 1904 qu’il ne tiendrait plus jamais les Jeux olympiques comme une attraction secondaire d’une foire.