Den gamle veteran i kampen for danskheden, Joh. Andresen, Ullerup foreslog i foråret 1930, at sognets beboere i tiåret for genforeningen rejste en sten til minde herom, og der nedsattes et 8-mands udvalg med forslagsstilleren som formand. Efter udvalgets anmodning opbyggede lærer Jørgensen, Blans derefter en stenhøj på kirkepladsen. Højen er beskyttet af tilhugne stenpiller forbundne med en jernkæde. Og på denne høj rejstes mindesmærket, der består af to natursten, den nederste blev udgravet ved anlæggelsen af den nye landevej Sønderborg-Aabenraa, den øverste stammer fra Balns ved kanten af Als Fjord.

Genforeningsstenen i Ullerup blev afsløret søndag, den 1. juli 1927 af udvalgsformanden, Joh. Andresen, hvorefter pastor Hansen, Dybbøl og gårdejer Andr. Kaad, Mintebjerg, Als talte. De to taleres ord formede sig som en tak for genforeningen og en opfordring til den unge slægt at følge fædres spor og vedstå arv og gæld. Festen sluttede med afsyngelse af en til dagen forfattet sang af lærer Jørgensen.

Gårdejer Jes Solmer, Avnbøl var ophavsmand til indskriften, der på den øverste sten lyder:

Denne Sten
rejstes af danske Mænd og Kvinder
som ved en fri Afstemning
1920
stemte sig hjem til deres
Fædreland

På nederste sten er teksten:

I Tavshed jeg taler fra Slægt til Slægt
gaa aldrig i Dvale øv Sandhed og Ret