Arboretum placeras på en återstående del av Rancho Santa Anita, en av de mexikanska landbidrag i södra Kalifornien. Rancho Santa Anita var ovanligt eftersom det var beläget ovanför en stor del av Raymond Basin aquifer. Tre sag dammar och många fjädrar hittades i området och den enda återstående kallas nu Baldwin Lake. Lacy Park i staden San Marino en gång var en annan sag damm och den exakta platsen för den tredje är inte känd men kan ha varit på grund av Huntington Library och Botaniska trädgården., Som en följd av den relativa överflöd av vatten, det var viktigt område i förhistoria som en året runt källa till vatten, kroppen av vatten som kallas Baldwin Lake och andra sag dammar lockade både sjöfåglar och andra djur samt indianer. Inte överraskande närvaron av vatten och spel skapade en permanent indiansk bostad i området och tros ha varit platsen för den Tongva byn Aleupkigna., Närheten till det närliggande San Gabriel-uppdraget kan ha lett till byggandet av en liten säsongsbunden bostad på Arboretumplatsen för herdar eller jägare som i slutändan ledde till byggandet av en blygsam adobe-struktur.
1839, bidraget till Rancho Santa Anita tilldelades Hugo Reid (1809-1852) och hans Tongva fru, Victoria. Reid byggde ett adobe-hem vid sjön 1839, nu ett historiskt landmärke i Kalifornien. Reid var en utbildad Skotte känd för en serie bokstäver som beskriver Tongva kultur., Annars Reid var förmodligen mest känd för sin roll i 1849 Kalifornien konstitutionella konventet. Lider av tuberkulos, dog han vid 43 års ålder. En serie kortfristiga ägare av fastigheten, Rancho Santa Anita, följde.
ägarna av Rancho Santa Anita var, i tur och ordning, Henry Dalton, Joseph A. Rowe, Albert Dibblee i samarbete med William Corbett och en Mr Barker, Leonard Rose och William Wolfskill, Alfred Chapman med Harris Newmark tills slutligen den fastigheten såldes till Elias Jackson och Baldwin., Med varje övergång, som började med försäljningen till Rose och Wolfskill, såldes en del av ranchen. Varje ägare på något sätt kännetecknar historien om södra Kalifornien under perioden. Jordbruksinnovation är en funktion som fortsatte att dra nytta av klimatet och de nya grödor som det möjliggjorde samt en växande mängd konsumenter och nya marknader som öppnades av transportinnovationer.
1875 när Elias Jackson ”Lucky” Baldwin köpte Rancho Santa Anita och byggde sina byggnader och grunder., Baldwins inflytande hade en flamboyans som var uppenbar i skapandet av en showcase på Oakwood Hotel och Santa Anita racetrack. Kommersiell vinodling blomstrade runt San Gabriel-uppdraget sedan missionsdagarna. Baldwin startade en prisbelönt vingård för att leverera turister, sålde mark till bosättare samt driva ett privat vattenföretag och tegelverk. Ett partnerskap med Henry E. Huntington och Santa Fe järnvägen försäkrade att passagerare kunde komma med järnväg från Los Angeles och andra platser samt att föra gods, såsom byggmateriel och fartyg ranch producera.,
arboretum började 1947 med Kalifornien och Los Angeles gemensamt köpa 111 tunnland (44.9 ha) för att skapa en arboretum runt Baldwin webbplats. År 1949 hade det första växthuset byggts och anläggningens anläggningar inventerades. År 1951 planterades de första 1000 träden, och 1956 öppnades arboretum för allmänheten. Pågående byggande av trädgårdar och växthus ägde rum under 1950-och 1960-talet, och 1975-1976 öppnades det Tropiska växthuset och den förhistoriska och Djungelträdgården färdigställdes. Konstruktion och renovering av både växthus och trädgårdar fortsätter.,
grundvattenbildning dammar och en pumpstation har föreslagits av Los Angeles County Department of Public Works och ett konsortium bestående av fem foten städer för 4 tunnland (1.6 hektar) i Australien sektionen.