Después de la debacle de 1900, Coubertin esperaba algo mejor de Estados Unidos en 1904, pero no vio realizadas sus esperanzas. Los Juegos se adjudicaron originalmente a Chicago. Sin embargo, San Luis iba a acoger una gran feria mundial en 1903, la Exposición de la Compra de Luisiana, para celebrar el centenario de la compra de Luisiana, pero los organizadores de San Luis estaban retrasados en su planificación, por lo que retrasaron la exposición a 1904, y los organizadores de San Luis querían que los Juegos Olímpicos formaran parte de la feria. Amenazaron con celebrar unas Olimpiadas en competencia si Chicago no les permitía celebrar los Juegos. Chicago acabó accediendo.
Los Juegos fueron muy parecidos a los de 1900: duraron casi cinco meses, muchos de los eventos no fueron etiquetados como olímpicos sino sólo como campeonatos de la feria, es difícil saber qué deportes y eventos estaban definitivamente en el programa olímpico, una serie de deportes y eventos inusuales se abrieron paso en el programa, y los Juegos fueron en su mayoría una idea tardía para la Feria. James Sullivan, cuyo título oficial era «Jefe del Departamento de la Sección de Cultura Física de la Exposición de la Compra de Luisiana» y, por lo tanto, era el Director de los Juegos Olímpicos, calificó casi todos los eventos que se produjeron en relación con la Exposición de la Compra de Luisiana como eventos olímpicos, lo que aumentó la confusión para los futuros investigadores olímpicos.
Coubertin ni siquiera asistió a las Olimpiadas en 1904, enviando a dos delegados del COI de Hungría y Alemania en su lugar. Se horrorizó cuando se enteró de los sucesos de San Luis, pero nunca tanto como cuando se enteró de las «Jornadas Antropológicas». Los organizadores de la Feria organizaron varios días de competiciones «olímpicas» entre varias de las llamadas tribus primitivas que se exhibían en la Exposición. Entre ellas había pigmeos, patagones, filipinos, tribus de indios nativos americanos, ainus japoneses y ciertas tribus asiáticas. Los eventos incluían el lanzamiento de bolos, la lucha en el barro y la escalada en un poste engrasado. Coubertin fue informado de estos eventos por el miembro húngaro del COI Ferenc Kemény, quien escribió: «No sólo estuve presente en un concurso deportivo, sino también en una feria en la que había deportes, en la que había trampas, en la que se exhibían monstruos para hacer una broma». Coubertin observó prescientemente: «En cuanto a esa escandalosa farsa, perderá por supuesto su atractivo cuando los hombres negros, los hombres rojos y los hombres amarillos aprendan a correr, a saltar y a lanzar, y dejen atrás a los hombres blancos.»
Al igual que en 1900, sólo el atletismo (pista & de campo) recibió una gran publicidad como deporte olímpico. Estas pruebas eran prácticamente un campeonato de clubes americanos y, de hecho, Albert Spalding donó un trofeo para el club americano que consiguiera más puntos en la prueba. El ganador del trofeo fue muy disputado entre la Asociación Atlética de Chicago y el Club Atlético de Nueva York, y la victoria del AC de Nueva York fue impugnada por el club de Chicago al alegar que se había utilizado un «timbre» en la prueba de tira y afloja. Aunque fue superado por atletas de otros deportes, el cuarteto estadounidense formado por Archie Hahn, Harry Hillman, Jim Lightbody y Ray Ewry ganó tres medallas de oro cada uno en atletismo y recibió la mayor parte de la atención de los medios de comunicación.
En otros deportes, el dominio estadounidense fue casi tan completo, debido a que sólo unos pocos países asistieron a los Juegos, y muy pocos atletas extranjeros compitieron. Hay que tener en cuenta que, en aquellos años, los atletas solían competir prácticamente a título individual, sin verdaderos equipos nacionales. Así, el caso de Félix Carvajal, de Cuba, que viajó a San Luis con el dinero recaudado en la realización de varias exhibiciones en La Habana. Hizo una parada en Nueva Orleans y perdió el dinero en una partida de dados, por lo que hizo autostop hasta San Luis para correr en el maratón. Se presentó en la línea de salida con zapatos pesados, pantalones largos y una camisa de manga larga, y finalmente terminó en cuarto lugar. Dos miembros negros de la tribu zulú que formaban parte de la exposición de la Guerra de los Bóers en la feria, Len Taunyane y Jan Mashiani, también compitieron en el maratón. Irónicamente, se les considera los primeros competidores olímpicos de Sudáfrica. Otro logro notable en 1904 fue el de Oliver Kirk, que ganó dos medallas de oro en boxeo, en dos categorías de peso diferentes, un récord olímpico que seguramente nunca será igualado.
El gran engaño de las pruebas de atletismo en los Juegos Olímpicos de 1904 se produjo en la carrera de maratón. El ganador fue el estadounidense de origen inglés Tom Hicks, pero el primer corredor que entró en el estadio fue Fred Lorz, también de Estados Unidos. Se hizo una foto con Alice Roosevelt, hija de Teddy Roosevelt, antes de que se supiera que había dejado de correr y había dado un paseo en coche hasta las afueras del estadio. La AAU lo descalificó «de por vida», aunque ese fallo fue anulado a tiempo para que Lorz ganara el maratón de Boston de 1905.
Coubertin juró después de 1904 que nunca más celebraría los Juegos Olímpicos como espectáculo secundario de una feria.