Coubertin toivoi Yhdysvalloilta parempaa vuonna 1904, mutta hänen toiveensa eivät toteutuneet. Kisat myönnettiin alun perin Chicagolle. St. Louisissa oli kuitenkin tarkoitus järjestää vuonna 1903 suuret maailmannäyttelyt, Louisiana Purchase Exposition, Louisianan oston 100-vuotisjuhlan kunniaksi, mutta St. Louisin järjestäjät olivat jäljessä aikataulusta suunnittelussaan, joten he siirsivät näyttelyä vuodelle 1904, ja St. Louisin järjestäjät halusivat olympialaiset osaksi messuja. He uhkasivat järjestää kilpailevat olympialaiset, jos Chicago ei sallisi kisojen järjestämistä. Chicago lopulta myöntyi.
Kisat olivat hyvin samanlaiset kuin vuonna 1900 – ne kestivät lähes viisi kuukautta, monia tapahtumia ei merkitty olympialaisiksi vaan ainoastaan messujen mestaruuskilpailuiksi, on vaikea tietää, mitkä urheilulajit ja -tapahtumat olivat varmasti olympialaisten ohjelmassa, monet epätavalliset urheilulajit ja -tapahtumat näkivät tiensä ohjelmaan, ja kisat olivat enimmäkseen jälkikäteisajattelua messuilla. James Sullivan, jonka virallinen titteli oli ”Department of the Physical Culture Section of the Louisiana Purchase Expositionin päällikkö” ja joka oli näin ollen olympialaisten johtaja, nimitti lähes kaikkia Louisiana Purchase Expositionin yhteydessä järjestettyjä tapahtumia olympialaisiksi, mikä lisäsi tulevien olympiatutkijoiden sekaannusta.
Coubertin ei edes osallistunut olympialaisiin vuonna 1904, vaan lähetti tilalleen kaksi KOK:n delegaattia Unkarista ja Saksasta. Hän oli tyrmistynyt kuullessaan St. Louisin tapahtumista, mutta ei koskaan enempää kuin kuullessaan ”antropologisista päivistä”. Messujen järjestäjät järjestivät useita päiviä kestäviä ”olympialaisia” kilpailuja useiden niin sanottujen alkukantaisten heimojen kesken, jotka olivat esillä näyttelyssä. Näiden joukossa oli pygmejä, patagonialaisia, filippiiniläisiä, Amerikan intiaaniheimoja, japanilaisia Ainuja ja tiettyjä aasialaisia heimoja. Tapahtumiin kuului muun muassa bolojen heittelyä, mutataistelua ja kiipeilyä rasvattuun tankoon. Coubertin sai näistä tapahtumista tiedon KOK:n unkarilaiselta jäseneltä Ferenc Keményiltä, joka kirjoitti: ”En ollut läsnä vain urheilukilpailussa, vaan myös messuilla, joissa oli urheilua, joissa oli huijausta ja joissa hirviöitä esiteltiin vitsiksi.” Coubertin totesi kaukonäköisesti: ”Mitä tulee tuohon törkeään pelleilyyn, se tietysti menettää vetovoimansa, kun mustat miehet, punaiset miehet ja keltaiset miehet oppivat juoksemaan, hyppäämään ja heittämään ja jättävät valkoiset miehet taakseen.”
Vuoden 1900 tapaan vain yleisurheilu (yleisurheilu & kenttä) sai olympiaurheilulajeina suurta julkisuutta. Nämä lajit olivat käytännössä amerikkalaisten seurojen mestaruuskilpailuja, ja itse asiassa Albert Spalding lahjoitti pokaalin sille amerikkalaiselle seuralle, joka sai eniten pisteitä lajissa. Pokaalin voittajasta kiisteltiin kiivaasti Chicago Athletic Associationin ja New York Athletic Clubin välillä, ja Chicagon seura kiisti New York AC:n voiton, kun se väitti, että hinauksessa oli käytetty ”ringeriä”. Vaikka muiden urheilulajien urheilijat ohittivat heidät, amerikkalainen nelikko Archie Hahn, Harry Hillman, Jim Lightbody ja Ray Ewry voitti yleisurheilussa kukin kolme kultamitalia ja sai suurimman osan tiedotusvälineiden huomiosta.
Muissa urheilulajeissa amerikkalaisten ylivoima oli lähes yhtä täydellistä, mikä johtui siitä, että vain muutama muu maa osallistui kisoihin ja että vain harvat ulkomaiset urheilijat kilpailivat. On huomattava, että noina vuosina urheilijat kilpailivat usein käytännössä yksilöinä, eikä varsinaisia maajoukkueita ollut. Esimerkkinä mainittakoon kuubalainen Félix Carvajal, joka matkusti St. Louisiin Havannassa järjestetyistä näyttelyistä saaduilla varoilla. Hän pysähtyi New Orleansissa ja hävisi rahansa paskapelissä, joten hän liftasi St. Louisiin osallistuakseen maratonille. Hän ilmestyi lähtöviivalle raskaat kengät, pitkät housut ja pitkähihainen paita yllään, ja sijoittui lopulta neljänneksi. Maratonilla kilpaili myös kaksi mustaa zuluheimon miestä, Len Taunyane ja Jan Mashiani, jotka olivat mukana messujen buurisotanäyttelyssä. Ironista kyllä, heitä pidetään ensimmäisinä Etelä-Afrikan olympiakilpailijoina. Toinen merkittävä saavutus vuonna 1904 oli Oliver Kirk, joka voitti kaksi kultamitalia nyrkkeilyssä, kahdessa eri painoluokassa, mikä on olympiaennätys, jota ei varmasti koskaan tulla saavuttamaan.
Vuoden 1904 olympialaisten urheilukilpailujen suuri huijaus tapahtui maratonjuoksussa. Voittaja oli englantilaissyntyinen amerikkalainen Tom Hicks, mutta ensimmäisenä stadionille tullut juoksija oli Fred Lorz, joka oli myös yhdysvaltalainen. Hänestä otettiin kuva Alice Rooseveltin, Teddy Rooseveltin tyttären, kanssa, ennen kuin paljastui, että hän oli lopettanut juoksun ja lähtenyt autokyydillä aivan stadionin ulkopuolelle. AAU hylkäsi hänet ”loppuiäkseen”, vaikka tämä päätös kumottiin ajoissa, jotta Lorz voitti Bostonin maratonin 1905.
Coubertin vannoi vuoden 1904 jälkeen, ettei hän enää koskaan järjestäisi olympialaisia messujen oheisnäytöksenä.