Las Vegas és a Flamingo Hotel
Az 1930-as évek végén Siegel randizni kezdett Virginia Hill színésznővel. Feltűnő pár voltak, akiket legalább annyira ismertek erőszakos természetükről, mint elbűvölő külsejükről. 1945-ben Las Vegasba költöztek, ahol Siegel elkezdett dolgozni azon az álmán, hogy szerencsejáték-mekkát építsen a nevadai sivatagban. A keleti bűnszövetkezet finanszírozásával Siegel felügyelete alatt megkezdődött a Flamingo Hotel és Kaszinó építése.
Az eredetileg 1,5 millió dollárra tervezett építkezés hamarosan problémásnak bizonyult, mivel az építési költségek több mint 6 millió dollárra emelkedtek. Amikor kiderült, hogy a túlköltekezés nagy része Siegel lopásának és rossz irányításának tudható be, Lansky (immár a keleti szindikátus prominens tagja) dühös lett az árulása miatt.
Halál
1947. június 20-án este Siegel brutálisan meghalt, amikor egy golyózápor csapódott be Hill nappalijának ablakán Beverly Hillsben, ahol éppen látogatóban volt. Ezzel egyidejűleg Lansky három társa belépett a Flamingo Hotelbe, és hatalomátvételt hirdetett. Bár Lansky tagadta, hogy köze lett volna a merénylethez, aligha kétséges, hogy Siegel a szindikátus utasítására gyilkolták meg.
Nyugalom és lányai
Siegel 1929 januárjában vette feleségül gyermekkori szerelmét, Esta Krakowert, és együtt két lányuk született: Millicent (aki 2017-ben halt meg) és Barbara.
Siegel félrelépései miatt azonban a pár 1946-ban elvált, és Esta ezt követően elköltözött magával és lányaikkal Beverly Hillsből, és visszatért New Yorkba.
Bugsy Siegel film
A Siegel életét és korát bemutató filmek közül talán az 1991-es Bugsy című maffiafilm, Warren Beatty főszereplésével a címszerepben, a leghíresebb. A Bugsyval egy évben bemutatott másik film a Maffiózók című bűnügyi dráma volt, amelyben Richard Grieco alakította a maffiózót.