Arboretum znajduje się na pozostałej części Rancho Santa Anita, jednego z meksykańskich grantów ziemi południowej Kalifornii. Rancho Santa Anita było niezwykłe, ponieważ znajdowało się nad dużą częścią wodonośną Raymond Basin. W okolicy znaleziono trzy stawy sag i liczne źródła, a jedyny pozostały z nich nosi obecnie nazwę Baldwin Lake. Lacy Park w San Marino był kiedyś kolejnym stawem sag, a dokładna lokalizacja trzeciego nie jest znana, ale być może znajdowała się na terenie Biblioteki Huntingtona i Ogrodu Botanicznego., Ze względu na względną obfitość wody, było to ważne miejsce w prehistorii jako całoroczne źródło wody, akwen znany jako Baldwin Lake i inne stawy sag przyciągały zarówno ptactwo wodne, jak i inne zwierzęta, a także rdzennych Amerykanów. Nic dziwnego, że obecność wody i zwierzyny stworzyła stałe miejsce zamieszkania rdzennych Amerykanów w okolicy i uważa się, że była to lokalizacja wioski Tongva Aleupkigna., Bliskość pobliskiego San Gabriel Mission mogła doprowadzić do budowy niewielkiego sezonowego mieszkania na terenie Arboretum dla pasterzy lub myśliwych, co ostatecznie doprowadziło do budowy skromnej struktury adobe.
w 1839 roku grant na Rancho Santa Anita otrzymali Hugo Reid (1809-1852) i jego żona z Tongva, Victoria. Reid zbudował dom nad jeziorem w 1839 roku, obecnie California Historic Landmark. Reid był wykształconym Szkotem znanym z serii listów opisujących kulturę Tongva., W przeciwnym razie Reid był prawdopodobnie najbardziej znany z roli w kalifornijskiej Konwencji Konstytucyjnej z 1849 roku. Zachorował na gruźlicę, zmarł w wieku 43 lat. W 1990 roku doszło do kilku incydentów, w których doszło do kilku incydentów.
kolejnymi właścicielami Rancho Santa Anita byli kolejno: Henry Dalton, Joseph A. Rowe, Albert Dibblee we współpracy z Williamem Corbettem i Panem Barkerem, Leonard Rose i William Wolfskill, Alfred Chapman z Harris Newmark, aż ostatecznie nieruchomość została sprzedana Eliasowi Jacksonowi Baldwinowi., Z każdym przejściem, począwszy od sprzedaży Rose i Wolfskill, część rancza została sprzedana. Każdy właściciel w jakiś sposób reprezentuje historię południowej Kalifornii w tym okresie. Innowacja rolnicza to cecha, która nie ustaje w korzystaniu z klimatu i nowych upraw, które umożliwiła, a także rosnącej liczby konsumentów i nowych rynków otwartych przez innowacje transportowe.
w 1875 roku, kiedy Elias Jackson „Lucky” Baldwin zakupił Rancho Santa Anita i wybudował jego budynki i tereny., Wpływ Baldwina miał ekstrawagancję, która była widoczna w stworzeniu showcase w hotelu Oakwood i na torze wyścigowym Santa Anita. Od czasów misji w San Gabriel kwitła komercyjna uprawa winorośli. Baldwin założył wielokrotnie nagradzaną winiarnię, która zaopatrywała turystów, sprzedawała ziemię osadnikom, a także prowadziła prywatną firmę wodną i cegielnię. Współpraca z Henry E. Huntingtonem i koleją Santa Fe gwarantowała, że pasażerowie mogli przyjechać koleją z Los Angeles i innych miejsc, a także przywieźć towary, takie jak materiały budowlane i produkty ranczo.,
arboretum powstało w 1947 roku, kiedy Kalifornia i Los Angeles wspólnie zakupiły 111 akrów (44,9 ha), aby utworzyć Arboretum wokół Baldwin site. W 1949 roku wybudowano pierwszą szklarnię i dokonano inwentaryzacji roślin. W 1951 roku posadzono pierwsze 1000 drzew, a w 1956 roku arboretum zostało otwarte dla publiczności. Trwająca Budowa ogrodów i szklarni miała miejsce w latach 50. i 60., a w latach 1975-1976 otwarto tropikalną szklarnię i ukończono Ogród prehistoryczny i Dżunglowy. Trwa budowa i remont zarówno szklarni, jak i ogrodów.,