John von Neumann syntyi Janos Lajos Margittai Neumannina 28. joulukuuta 1903 Budapestissa, Unkarissa. Hänet kasvatettiin uskonnollisesti sitoutumattomassa juutalaisperheessä, mutta hänellä oli jo varhain uskomaton muisti, sillä hän pystyi jakamaan kahdeksannumeroisia lukuja päässään jo kuusivuotiaana. Hän pääsi luterilaiseen lukioon vuonna 1911; vuonna 1913 hänen isänsä osti arvonimen, ja perhe sai itävaltalaisen aatelismerkin ”von.”
Von Neumann väitteli matematiikan tohtoriksi Budapestin yliopistosta 23-vuotiaana. Samaan aikaan hän opiskeli kemiaa Sveitsissä. Vuosina 1926-1930 hän toimi yksityisluennoitsijana Berliinissä, Saksassa. Vuonna 1930, samana vuonna kun hän meni naimisiin Mariette Koeveden kanssa ja suostui kääntymään katolilaiseksi rauhoittaakseen tämän perhettä, Princetonin yliopisto kutsui hänet luennoimaan matemaattisesta fysiikasta. Princetonissa ollessaan äskettäin perustetun Institute for Advanced Study -instituutin perustajat pyysivät häntä ottamaan vastaan matematiikan professuurin. Tohtori von Neumannista tuli yksi arvostetun instituutin alkuperäisistä jäsenistä, ja hän pysyi siellä koko loppuelämänsä ajan.
Vuonna 1937, samana vuonna kun von Neumann erosi ensimmäisestä vaimostaan, hänestä tuli Yhdysvaltain kansalainen. Vuonna 1938 hän meni naimisiin Klara Danin kanssa, ja hänelle myönnettiin Bocherin muistopalkinto analyysin parissa tekemästään työstä.
Vuonna 1943 von Neumann alkoi työskennellä Manhattan-projektissa, jossa hän paneutui atomipommin rakentamisen vaatimiin valtaviin laskelmiin. Tämän pelottavan tehtävän edessä hän kiinnostui käyttämään koneita lukujen laskemiseen ja tiettyjen matemaattisten ongelmien ratkaisemiseen. Sodan aikana ja sen jälkeen hänen kiinnostuksensa tietokoneisiin kasvoi, ja hän osallistui laajasti ensimmäisten nykyaikaisten tietokoneiden rakentamiseen. Tässä työssä luotiin periaatteet, joihin nykyiset tietokoneet perustuvat. Hänen ensisijainen kiinnostuksen kohteensa keskittyi kuitenkin peliteoriaan: kahden eri päämäärään pyrkivän vastustajan välisen konfliktin tutkimiseen, jossa kumpikin haluaa voittaa toisen.
Yksi von Neumannin merkittävimmistä saavutuksista oli hänen kvanttimekaniikan tiukka matemaattinen muotoilunsa Hilbert-avaruuksien lineaaristen operaattoreiden avulla. Hän loi tiukan perustan tilastolliselle kvanttimekaniikalle ja ehdotti todistusta piilomuuttujien mahdottomuudesta osoittaen, että kvanttimekaniikka erosi perusteellisesti kaikista aiemmin tunnetuista fysiikan teorioista.
Hänen ansiokseen lasketaan myös ainakin yksi panos algoritmien tutkimukseen. Donald Knuth mainitsee von Neumannin keksineen vuonna 1945 tunnetun yhdistämislajittelualgoritmin, jossa joukon ensimmäinen ja toinen puolikas lajitellaan rekursiivisesti ja yhdistetään sitten toisiinsa. Hän tutki myös ongelmia numeerisen hydrodynamiikan alalla.
Vuonna 1955 presidentti Eisenhower nimitti von Neumannin atomienergiakomission jäseneksi, ja vuonna 1956 hän sai sen Enrico Fermi -palkinnon. Hän kuoli syöpään 8. helmikuuta 1957 Washingtonissa
.