el Arboreto está ubicado en una porción restante del Rancho Santa Anita, una de las concesiones de tierras mexicanas del Sur de California. Rancho Santa Anita era inusual en que estaba situado por encima de una gran parte del acuífero de la cuenca Raymond. Tres estanques hundidos y numerosos manantiales se encontraron en el área y el único que queda ahora se llama Lago Baldwin. Lacy Park en la ciudad de San Marino una vez fue otro estanque sag y la ubicación exacta del tercero no se conoce, pero puede haber sido en los terrenos de la Biblioteca Huntington y el Jardín Botánico., Como consecuencia de la relativa abundancia de agua, fue un área importante en la prehistoria como fuente de agua durante todo el año, el cuerpo de agua conocido como Lago Baldwin y los otros estanques sag atrajeron tanto aves acuáticas y otros animales, así como los Nativos Americanos. No es sorprendente que la presencia de agua y caza creó una habitación permanente de los Nativos Americanos en el área y se cree que ha sido la ubicación de la aldea Tongva de Aleupkigna., La proximidad a la cercana misión de San Gabriel puede haber llevado a la construcción de una pequeña vivienda estacional en el sitio del arboreto para pastores o cazadores que finalmente condujo a la construcción de una modesta estructura de adobe.
en 1839, la subvención al Rancho Santa Anita fue otorgada a Hugo Reid (1809-1852) y su esposa Tongva, Victoria. Reid construyó una casa de adobe junto al lago en 1839, ahora un hito histórico de California. Reid era un escocés educado conocido por una serie de cartas que describen la cultura Tongva., De lo contrario, Reid fue probablemente mejor conocido por su papel en la Convención Constitucional de California de 1849. Aquejado de tuberculosis, murió a la edad de 43 años. Una serie de propietarios a corto plazo de la propiedad, Rancho Santa Anita, siguió.
los siguientes propietarios de Rancho Santa Anita fueron; en secuencia, Henry Dalton, Joseph A. Rowe, Albert Dibblee en asociación con William Corbett y un Sr. Barker, Leonard Rose y William Wolfskill, Alfred Chapman con Harris Newmark hasta que finalmente la propiedad fue vendida a Elias Jackson Baldwin., Con cada transición, comenzando con la venta A Rose y Wolfskill, una parte del rancho fue vendida. Cada propietario de alguna manera tipifica la historia del Sur de California durante el período. La innovación agrícola es una característica que persistió aprovechando el clima y los nuevos cultivos que hizo posible, así como un creciente cuerpo de consumidores y nuevos mercados abiertos por las innovaciones en el transporte.
en 1875 cuando Elias Jackson «Lucky» Baldwin compró Rancho Santa Anita y construyó sus edificios y terrenos., La influencia de Baldwin tuvo una extravagancia que fue evidente en la creación de un escaparate en el Hotel Oakwood y el Hipódromo de Santa Anita. La viticultura comercial floreció alrededor de la misión de San Gabriel desde los días de la misión. Baldwin comenzó una galardonada bodega para abastecer a los turistas, vendió tierras a los colonos, además de dirigir una compañía privada de agua y fábricas de ladrillos. Una asociación con Henry E. Huntington y el ferrocarril de Santa Fe aseguró que los pasajeros pudieran llegar por ferrocarril desde Los Ángeles y otros lugares, así como llevar carga, como suministros de construcción y productos de Rancho de barcos.,
el arboreto comenzó en 1947 con California y Los Ángeles comprando conjuntamente 111 acres (44.9 ha) para crear un arboreto alrededor del sitio Baldwin. En 1949, se había construido el primer invernadero y las plantas del sitio habían sido inventariadas. En 1951, se plantaron los primeros 1.000 árboles, y en 1956 el arboreto se abrió al público. La construcción en curso de jardines e invernaderos tuvo lugar durante las décadas de 1950 y 1960, y en 1975-1976 se abrió el invernadero Tropical y se completó el jardín prehistórico y selvático. Continúa la construcción y renovación de invernaderos y jardines.,
estanques de recarga de aguas subterráneas y una estación de bombeo han sido propuestos por el Departamento de Obras Públicas del Condado de Los Ángeles y un consorcio de cinco ciudades de foothill para 4 acres (1.6 ha) de la sección de Australia.