Arboretum je umístěno na zbývající části Rancho Santa Anita, jedné z mexických pozemků Jižní Kalifornie. Rancho Santa Anita byl neobvyklý v tom, že se nacházel nad velkou částí aquiferu Raymond Basin. V oblasti byly nalezeny tři jezírka a četné prameny a jediný zbývající se nyní nazývá Baldwin Lake. Krajkový Park ve městě San Marino byl kdysi dalším jezírkem a přesné umístění třetího není známo, ale mohlo být v areálu knihovny Huntington a botanické zahrady., V důsledku relativní hojnost vody, to bylo důležité oblasti v pravěku jako celoroční zdroj vody, tělo z vody, známý jako Lake Baldwin a další sag rybníky přitahovaly jak vodních ptáků a dalších zvířat, stejně jako Rodilí Američané. Není divu, že přítomnost vody a hra, kterou vytvořil stálé indiánské osídlení v oblasti a je věřil k byli umístění Tongva obci Aleupkigna., Blízkost nedaleké mise San Gabriel mohla vést k výstavbě malého sezónního obydlí na místě arboreta pro pastýře nebo lovce, což nakonec vedlo k výstavbě skromné struktury adobe.
v roce 1839 byl grant Rancho Santa Anita udělen Hugovi Reidovi (1809-1852) a jeho manželce Tongvy Victorii. Reid postavil dům adobe u jezera v roce 1839, nyní Kalifornie historický mezník. Reid byl vzdělaný skot známý řadou dopisů popisujících kulturu Tongvy., Jinak Reid byl pravděpodobně nejlépe známý pro jeho roli v 1849 California Constitutional Convention. Postižený tuberkulózou zemřel ve věku 43 let. Následovala řada krátkodobých majitelů nemovitosti, Rancho Santa Anita.
Následující majitelé Rancho Santa Anita byli, v pořadí, Henry Dalton, Joseph a. Rowe, Albert Dibblee ve spolupráci s William Corbett a Pan Barker, Leonard Rose a William Wolfskill, Alfred Chapman s Harris Newmark, až nakonec majetek byl prodán Elias Jackson Baldwin., S každým přechodem, počínaje prodejem Rose a Wolfskill, část ranče byla vyprodána. Každý majitel v některých ohledech charakterizuje historii Jižní Kalifornie během období. Zemědělské inovace je funkce, která přetrvávala využívat klimatu a nové plodiny, které je možné stejně jako rostoucí skupina spotřebitelů a nové trhy otevřely dopravní inovace.
v roce 1875, kdy Elias Jackson“ Lucky “ Baldwin koupil Rancho Santa Anita a postavil své budovy a pozemky., Baldwinův vliv měl okázalost, která byla patrná při vytváření vitríny v hotelu Oakwood a závodní dráze Santa Anita. Komerční vinařství vzkvétalo kolem mise San Gabriel od misijních dnů. Baldwin založil oceňované vinařství pro zásobování turistů, prodával pozemky osadníkům i provoz soukromé vodárenské společnosti a cihelny. Partnerství s Henrym e. Huntingtonem a železnicí Santa Fe zajistilo, že cestující mohou přijet po železnici z Los Angeles a dalších míst, stejně jako dopravit nákladní dopravu, jako jsou stavební zásoby a produkty lodního ranče.,
arboretum začal v roce 1947 s Kalifornie a Los Angeles společně nákupu 111 akrů (44.9 ha) vytvořit arboretum kolem Baldwin stránky. Do roku 1949 byl postaven první skleník a rostliny v místě byly inventarizovány. V roce 1951 bylo vysazeno prvních 1000 stromů a v roce 1956 bylo Arboretum otevřeno veřejnosti. V 50.a 60. letech proběhla probíhající výstavba zahrad a skleníků a v letech 1975-1976 byl otevřen tropický skleník a dokončena prehistorická a džungle. Pokračuje výstavba a renovace skleníků i zahrad.,
rybníky pro dobíjení podzemních vod a čerpací stanice byly navrženy Ministerstvem veřejných prací Los Angeles County a konsorciem pěti podhůří měst pro 4 akry (1.6 ha) australské sekce.