I 1419 heter stedet Vesbø, i 1626 Wessby og i 1723 Wesbye.

Første gang vi treffer på Vestby er i 1419 under en handel mellom Gest Sveinsson og Torlak Torgilssøn som er omtalt under Holm. I 1723 heter det om gården:
“Denne gaard har i umindelig tid ikke været bebodd av nogen bonde for skat og landskyld, mindre bøkslet for dens ringhet og høie skyld. Denne plads har maattet brukes av jorddrotten selv.” Jorddrotten var dengang Tomas Blix på Fredrikshald.

I 1801 bor det en dagarbeider Brynild Johnsen på gården, men i 1835 var den ubebodd.

Kilde: Harald Bakke. Id herred – En grænsebygds historie. Fredrikshald 1915