syn Nanette (z domu Gamse) i właściciela domu towarowego Milwaukee, C. Ellis Goldstein. Goldstein powiedział, że zaczął oglądać mecze NBA jako 10-latek. W wieku 15 lat został zatrudniony do prowadzenia statystyk gry przez Milwaukee Hawks. „Kiedy to zrobiłem i siedziałem na boisku na mecze, byłem całkowicie uzależniony”, powiedział. „Od tego czasu całe moje życie poświęciłem profesjonalnej koszykówce. Mam taką pasję do tej gry. Myślę, że w koszykówce jest więcej Atletyki niż w jakimkolwiek innym sporcie., Goldstein ukończył Nicolet High School w Milwaukee w stanie Wisconsin, gdzie grał w drużynie koszykówki. Następnie studiował na Uniwersytecie Stanforda i od tego czasu pozostał w Kalifornii.
Po ponad 2000 meczach, Goldstein zaprzyjaźnił się z kilkoma obecnymi i byłymi graczami NBA, w tym Wiltem Chamberlainem, Clyde ’em Drexlerem, Hakeemem Olajuwonem, Shaquille ’em O' Nealem, Samem Cassellem i Dennisem Rodmanem. Twierdzi, że nie ma ulubionej drużyny, mimo karnetów na Lakers i Clippers. Określa siebie jako fana NBA w ogóle.,
The Wall Street Journal spekulował, że Goldstein zarobił miliardy na nieruchomościach (zwłaszcza Century City w Los Angeles). Zapytany zazwyczaj odpowiada: „powiedzmy, że miałem pewne inwestycje, które wyszły całkiem nieźle.”Staram się nie myśleć o kosztach” „Dla mnie warto.”
..,jeśli udaremnią jego próby zakończenia kontroli czynszu.”Carson, Kalifornijski prawnik Sunny Soltani, nazwał swoją taktykę „terroryzmem sądowym”, oskarżył go o budowanie swojej fortuny „na plecach najbardziej bezbronnych ludzi w społeczeństwie”, a szacowane miasta wydały miliony na walkę z nim.
nigdy nie ożenił się, ani nie miał dzieci. Stwierdził, że nie wierzy w małżeństwo.