Holm er en av de gårdene i Idd som tidligst omtales. I 1393 omtales den første gang i et diplom. Fra 1401 finnes det et “brev om ækræne i Holm” hvor Andres Petarsen, Unas Kolbiørnson og Helgi Toresson kunngjør at brødrene Guttorm og Ivar Ivarssønner på sin mors vegne avstår til Gest Sveinsson “den nordre jordtigen som ligger i den løkken som går ned til bekken og øst for allmannsveien”

I 1419 hører vi at Bjørn Ivarson, Unas Kolbiørnson og Helgi Toresson var på Holm.

Fra 1493 hører vi at Benevold og Thrægaløkken som ligger ved Holm ble solgt til Gest Berdorsson og Svenung Gestsson.

I 1514 tilhører gården familien Friis av Vaaben. Det året gjorde Engelbrekt Friis av Vaaben skifte med sin søster Anne Henriksdatter (Friis) og sin svoger Haakon Tostensøn om det gods som tilfaldt dem etter deres foreldre. Håkon og hans hustru fikk herved bl.a. Holm.

I 1593 ble gården delt i to. Navnene var da Holm søndre og Holm nordre. Hvor søndre Holm var den betydligste.

I det 16-århundre gikk Holm over fra å være bondegods til andre eiere. En del ble kirkegods. Idd kirke eide i 1575 2 huder i Holm og i 1723 hele Holm nordre av skyld 1,5 hud.

Den mer verdifulle søndre Holm med de mange sag og kvernbruk ved Skonningsfoss gikk over til adelsmenns eie. Vi vet at Erik Rosenkrands eide det i 1554, men adelig setegård som Stumberg eller Berby har det allikevel ikke vært.

Senere kom endel av gården under Berbygodset. I 1723 eide Madame Anne Meng på Berby og oberstløytnant Oldenborg hver 2 tønner blandkorn i Holm søndre.

Store Holm ble senere delt opp i flere bruk. I 1865 var det i alt fire, dertil kom Heltorp og Lundsholtkasa, mens Lilleholm var et bruk.

Kilde: Harald Bakke. Id herred – En grænsebygds historie. Fredrikshald 1915