Las Vegas ja Flamingo-hotelli
1930-luvun lopulla Siegel alkoi seurustella näyttelijä Virginia Hillin kanssa. He olivat silmiinpistävä pari, joka tunnettiin yhtä lailla väkivaltaisesta luonteestaan kuin lumoavasta ulkonäöstään. Vuonna 1945 he muuttivat Las Vegasiin, jossa Siegel alkoi työskennellä kohti unelmaansa rakentaa uhkapelimekka Nevadan autiomaahan. Itäisen rikossyndikaatin rahoittamana Flamingo-hotellin ja -kasinon rakentaminen alkoi Siegelin valvonnassa.
Alun perin 1,5 miljoonan dollarin budjetin mukaan rakennushanke osoittautui pian ongelmalliseksi, sillä rakennuskustannukset nousivat yli kuuteen miljoonaan dollariin. Kun selvisi, että monet ylityksistä johtuivat Siegelin varkauksista ja huonosta hallinnosta, Lansky (joka oli nykyään merkittävä Eastern-syndikaatin jäsen) raivostui hänen petoksestaan.
Kuolema
Kesäkuun 20. päivän iltana 1947 Siegel surmattiin raa’asti, kun luodit syöksyivät Hillin olohuoneen ikkunan läpi Beverly Hillsissä, jossa hän oli vierailulla. Samanaikaisesti kolme Lanskyn kumppania tunkeutui Flamingo-hotelliin ja julisti vallankaappauksen. Vaikka Lansky kiisti osallisuutensa iskuun, ei ole epäilystäkään siitä, etteikö Siegel olisi murhattu syndikaatin käskystä.
Vaimo ja tyttäret
Siegel avioitui lapsuudenrakkaansa Esta Krakowerin kanssa tammikuussa 1929, ja heillä oli yhdessä kaksi tytärtä: Millicent (joka kuoli vuonna 2017) ja Barbara.
Siegelin uskottomuus aiheutti kuitenkin pariskunnan avioeron vuonna 1946, ja Esta muutti sittemmin tyttärineen pois Beverly Hillsistä ja palasi New Yorkiin.
Bugsy Siegel -elokuva
Siegelin elämää ja aikoja kuvaavista elokuvista tunnetuin lienee vuonna 1991 valmistunut mafiaelokuva Bugsy, jonka nimiroolissa näyttelee Warren Beatty. Toinen samana vuonna Bugsyn kanssa ilmestynyt elokuva oli rikosdraama Mobsters, jossa Richard Grieco näytteli mafiosoa.