Após o desastre de 1900, Coubertin esperava melhor dos Estados Unidos em 1904, mas não viu as suas esperanças concretizadas. Os Jogos foram originalmente concedidos a Chicago. No entanto, St. Louis iria organizar uma grande feira mundial em 1903, a Louisiana Purchase Exposition, em comemoração ao 100º aniversário da Louisiana Purchase, mas os organizadores de St. Louis estavam atrasados em seu planejamento, então eles mudaram a exposição para 1904, e os organizadores de St. Louis queriam que os Jogos Olímpicos fizessem parte da feira. Eles ameaçaram realizar Olimpíadas competitivas se Chicago não lhes permitisse a realização dos Jogos. Chicago acabou por aceitar.
Os Jogos foram muito semelhantes aos de 1900 – duraram quase cinco meses, muitos dos eventos não foram rotulados como Olímpicos, mas apenas como campeonatos da feira, é difícil saber quais os esportes e eventos que estavam definitivamente no programa olímpico, uma série de esportes e eventos incomuns viram o seu caminho para o programa, e os Jogos foram, na sua maioria, um pensamento posterior à Feira. James Sullivan, cujo título oficial era “Chefe da Seção de Cultura Física da Exposição de Compra da Louisiana” e era, portanto, o Diretor dos Jogos Olímpicos, chamou quase todos os eventos que ocorreram em conjunto com a Exposição de Compra da Louisiana de evento olímpico, aumentando a confusão para futuros pesquisadores olímpicos.
Coubertin nem sequer participou das Olimpíadas em 1904, enviando em seu lugar dois delegados do COI da Hungria e da Alemanha. Ele ficou chocado quando ouviu falar dos acontecimentos em St. Louis, mas nunca mais do que quando ouviu falar dos “Dias Antropológicos”. Os organizadores da Feira disputaram vários dias de competições “olímpicas” entre várias tribos chamadas primitivas que estavam sendo exibidas na Exposição. Entre eles estavam pigmeus, patagônios, filipinos, tribos indígenas indígenas americanas, ainus japoneses, e certas tribos asiáticas. Eventos incluindo atirar bolos, lama lutando, e escalar um poste untado. Coubertin foi informado desses eventos pelo membro húngaro do COI Ferenc Kemény, que escreveu: “Eu não estive presente apenas em uma competição esportiva, mas também em uma feira onde havia esportes, onde havia batota, onde monstros eram exibidos para uma brincadeira”. Coubertin observou: “Quanto a essa charada ultrajante, é claro que perderá seu apelo quando negros, vermelhos e amarelos aprenderem a correr, pular e arremessar, deixando os brancos para trás”
Como em 1900, apenas o atletismo (pista & campo) recebeu alguma grande publicidade como sendo um esporte olímpico. Estes eventos foram praticamente um campeonato americano de clubes e, na verdade, Albert Spalding doou um troféu para o clube americano que marcou o maior número de pontos no evento. O vencedor do troféu foi calorosamente disputado entre a Chicago Athletic Association e o New York Athletic Club, e a vitória do New York AC foi disputada pelo clube de Chicago quando eles alegaram que um “ringer” tinha sido usado no evento do cabo de guerra. Embora superados por atletas em outros esportes, os quatro americanos de Archie Hahn, Harry Hillman, Jim Lightbody e Ray Ewry ganharam três medalhas de ouro cada um no atletismo e receberam a maior parte da atenção da mídia.
Em outros esportes, o domínio americano foi quase tão completo, devido ao fato de apenas alguns outros países terem participado dos Jogos, e muito poucos atletas estrangeiros competiram. Deve-se notar que, naqueles anos, os atletas competiam, muitas vezes, virtualmente como indivíduos, sem equipes nacionais reais. Assim, o caso de Félix Carvajal de Cuba, que viajou para St. Louis usando dinheiro arrecadado na realização de várias exposições em Havana. Ele parou em Nova Orleans e perdeu seu dinheiro em um jogo de merda, então ele pegou carona para St. Louis para correr na maratona. Ele apareceu na linha de partida usando sapatos pesados, calças compridas e uma camisa de manga comprida, e eventualmente terminou em quarto lugar. Dois homens da tribo zulu negra que fizeram parte da exposição Boer War na feira, Len Taunyane e Jan Mashiani, também competiram na maratona. Ironicamente, eles são considerados os primeiros competidores olímpicos da África do Sul. Um outro feito notável em 1904 foi Oliver Kirk, que ganhou duas medalhas de ouro no boxe, em duas classes de peso diferentes, um recorde olímpico que certamente nunca será igualado.
O grande embuste dos eventos atléticos das Olimpíadas de 1904 ocorreu na corrida da maratona. O vencedor foi o americano de origem inglesa Tom Hicks, mas o primeiro corredor a entrar no estádio foi Fred Lorz, também dos Estados Unidos. Ele teve sua foto tirada com Alice Roosevelt, filha de Teddy Roosevelt, antes de ser revelado que ele parou de correr e deu uma volta de carro até o exterior do estádio. A AAU o desclassificou “para sempre”, embora essa decisão tenha sido anulada a tempo de Lorz ganhar a Maratona de Boston de 1905.
Coubertin jurou, depois de 1904, que nunca mais realizaria as Olimpíadas como um espetáculo paralelo a uma feira.