Historien om Stora Djulö omnämns för första gången, 1334, som Djula. Under tidig medeltid tillhörde Djulö Vårfruberga kloster, men vid ett markbyte 1334 erhöll riddaren och riksrådet Sigge Magnusson från Lagmansö ägorna. Han planerade och påbörjade ett storslaget bygge, men lyckades bara färdigställa knappt halva byggnaden. Om man tänker sig en likadan byggnad till fast spegelvänd, ihop med den befintliga, kan man lätt föreställa sig det pampiga herresäte det skulle blivit. Efter många arv genom familjer hamnade herrgården till slut i ägorna av Katrineholms Kommun, 1935 till ett pris av
190 000 kr. Stora Djulö är även känt för sin omnämning i boken Nils Holgerssons underbara resa genom Sverige - som den Sköna Lustgården.