Das Arboretum befindet sich auf einem verbleibenden Teil des Rancho Santa Anita, einem der mexikanischen Landgebiete Südkaliforniens. Rancho Santa Anita war insofern ungewöhnlich, als es sich über einem großen Teil des Grundwasserleiters des Raymond Basin befand. Drei Sag-Teiche und zahlreiche Quellen wurden in der Gegend gefunden und der einzige verbleibende heißt jetzt Baldwin Lake. Lacy Park in der Stadt San Marino war einst ein weiterer sag Pond und die genaue Lage des dritten ist nicht bekannt, aber auf dem Gelände der Huntington Library und Botanic Garden gewesen sein., Als Folge des relativen Wasserreichtums, Es war ein wichtiges Gebiet in der Vorgeschichte als ganzjährige Wasserquelle, Das Gewässer, das als Baldwin Lake bekannt ist, und die anderen Sag-Teiche zogen sowohl Wasservögel als auch andere Tiere sowie amerikanische Ureinwohner an. Es überrascht nicht, dass das Vorhandensein von Wasser und Wild eine dauerhafte Besiedlung der amerikanischen Ureinwohner in der Region geschaffen hat und vermutlich der Standort des Tongva-Dorfes Aleupkigna war., Die Nähe zur nahe gelegenen Mission San Gabriel hat möglicherweise zum Bau einer kleinen saisonalen Wohnung am Arboretum-Standort für Hirten oder Jäger geführt, was letztendlich zum Bau einer bescheidenen Lehmziegelstruktur führte.
1839 wurde der Zuschuss an Rancho Santa Anita an Hugo Reid (1809-1852) und seine Tongva-Frau Victoria vergeben. Reid baute 1839 ein Lehmziegelhaus am See, heute ein historisches Wahrzeichen Kaliforniens. Reid war ein gebildeter Schotte, der für eine Reihe von Briefen bekannt war, die die Tongva-Kultur beschrieben., Ansonsten war Reid wahrscheinlich am bekanntesten für seine Rolle in der 1849 California Constitutional Convention. An Tuberkulose erkrankt, starb er im Alter von 43 Jahren. Es folgte eine Reihe kurzfristiger Eigentümer der Immobilie, Rancho Santa Anita.
Nachfolgende Besitzer von Rancho Santa Anita waren; nacheinander Henry Dalton, Joseph A. Rowe, Albert Dibblee in Partnerschaft mit William Corbett und einem Mr. Barker, Leonard Rose und William Wolfskill, Alfred Chapman mit Harris Newmark, bis das Anwesen schließlich an Elias Jackson Baldwin verkauft wurde., Mit jedem Übergang, beginnend mit dem Verkauf an Rose und Wolfskill, wurde ein Teil der Ranch verkauft. Jeder Besitzer typisiert in gewisser Weise die Geschichte Südkaliforniens in dieser Zeit. Landwirtschaftliche Innovation ist ein Merkmal, das weiterhin das Klima und die neuen Kulturen nutzt, die es ermöglicht hat, sowie eine wachsende Anzahl von Verbrauchern und neue Märkte, die durch Transportinnovationen eröffnet wurden.
Im Jahr 1875, als Elias Jackson „Lucky“ Baldwin Rancho Santa Anita kaufte und seine Gebäude und sein Gelände errichtete., Baldwins Einfluss hatte eine Extravaganz, die sich in der Schaffung einer Vitrine im Oakwood Hotel und auf der Rennstrecke Santa Anita zeigte. Kommerzieller Weinbau blühte um die San Gabriel Mission seit Missionstagen. Baldwin gründete ein preisgekröntes Weingut, um Touristen zu versorgen, verkaufte Land an Siedler sowie betrieb ein privates Wasserunternehmen und Ziegeleien. Eine Partnerschaft mit Henry E. Huntington und der Santa Fe Railroad versicherte, dass Passagiere mit der Bahn von Los Angeles und anderen Orten anreisen und Fracht wie Baumaterial und Schiffsprodukte mitbringen konnten.,
Das Arboretum begann 1947, als Kalifornien und Los Angeles gemeinsam 111 Acres (44,9 ha) kauften, um ein Arboretum rund um den Baldwin-Standort zu schaffen. Bis 1949 war das erste Gewächshaus gebaut und die Pflanzen des Geländes inventarisiert worden. 1951 wurden die ersten 1.000 Bäume gepflanzt und 1956 wurde das Arboretum für die Öffentlichkeit geöffnet. Der laufende Bau von Gärten und Gewächshäusern fand in den 1950er und 1960er Jahren statt, und in den Jahren 1975-1976 wurde das tropische Gewächshaus eröffnet und der Prähistorische und Dschungelgarten fertiggestellt. Der Bau und die Renovierung von Gewächshäusern und Gärten werden fortgesetzt.,
Grundwasseraufladeteiche und eine Pumpstation wurden vom Los Angeles County Department of Public Works und einem Konsortium von fünf Vorgebirgsstädten für 1,6 Hektar des australischen Abschnitts vorgeschlagen.