Las Vegas a hotel Flamingo
Na konci 30. let začal Siegel chodit s herečkou Virginií Hillovou. Byli nápadným párem, který byl známý stejně tak pro svou násilnickou povahu jako pro svůj okouzlující vzhled. V roce 1945 se oba přestěhovali do Las Vegas, kde Siegel začal pracovat na svém snu vybudovat v nevadské poušti mekku hazardu. Díky financování ze strany Východního zločineckého syndikátu byla pod Siegelovým dohledem zahájena výstavba hotelu a kasina Flamingo.
Původně byl rozpočet stavby stanoven na 1,5 milionu dolarů, ale brzy se ukázalo, že stavba bude problematická, protože náklady na ni se vyšplhaly na více než 6 milionů dolarů. Když se zjistilo, že mnohé z překročených nákladů byly způsobeny Siegelovými krádežemi a špatným řízením, Lansky (nyní významný člen Východního syndikátu) se kvůli jeho zradě rozzuřil.
Smrt
Ve večerních hodinách 20. června 1947 byl Siegel brutálně zabit, když do okna Hillova obývacího pokoje v Beverly Hills, kde byl na návštěvě, narazila salva kulek. Současně tři Lanskyho kumpáni vstoupili do hotelu Flamingo a vyhlásili převrat. Ačkoli Lansky popřel, že by se na vraždě podílel, není pochyb o tom, že Siegel byl zavražděn na příkaz syndikátu.
Žena a dcery
Siegel se v lednu 1929 oženil se svou láskou z dětství Estou Krakowerovou a měli spolu dvě dcery: Millicent (zemřela v roce 2017) a Barbaru.
Siegelovy zálety však způsobily, že se manželé v roce 1946 rozvedli, a Esta se následně i s dcerami odstěhovala z Beverly Hills a vrátila se do New Yorku.
Film Bugsy Siegel
Z filmů, které zachycují Siegelův život a dobu, je asi nejznámější mafiánský snímek Bugsy z roku 1991 s Warrenem Beattym v titulní roli. Dalším filmem, který byl uveden ve stejném roce jako Bugsy, bylo kriminální drama Mobsters, v němž si mafiána zahrál Richard Grieco
.