荘の成立経緯は不明で、通説では橘に代表される柑橘類を貢納するために設けられた園地で果樹園や畠地であったとされている[1][2]。この通説に対する異説として、この地は記紀神話で有名な田道間守ゆかりの土地とする説がある。橘の由来とされる田道間守の物語は元々大王の支配地の一つであった倭（大和）にある橘の宮殿に奉仕した但馬国の豪族の祖先神話であり、その田道間守の子孫が但馬と大和を往復する際に平野部から但馬に向かう山道の起点となる猪名川沿いに中継地となる拠点を持ち、そこに自らの奉仕先の王宮号である「橘」と命名して地名化したもので、植物の橘とこの地は直接的な関係がある訳ではないとするものである[3]。
記録を遡れる限りでは初めは摂関家の所領で、康平5年（1062年）正月に行われた摂関家の春日詣での際に200食分の弁当が橘御園に賦課されている[1][2]。藤原頼通から娘の寛子（後冷泉天皇中宮）に譲渡されたが、92歳の長寿を保った寛子は頼通の曾孫にあたる摂関家当主・藤原忠実に相続させた。続いて忠実の娘泰子（鳥羽上皇皇后[4]）に与えられるが、彼女の死後は摂関家に戻されて以降近衛家の所領となる。鎌倉時代中期に近衛家出身者が門跡として入る寺院であった浄土寺に寄進された。同園は境界の複雑さから度々周辺の荘園と堺相論を起こしており、また他の権門に侵害されるケースもあり、室町時代には興福寺や相国寺の所領になっている地域もあった[2]。戦国時代には単に「御園」とも称されて不知行状態となり、地元の国衆である伊丹氏に横領されることになる[5]。