Pladsen, hvor stenen står i dag, var før en slags "losseplads", indtil købmand J. Christensen og gårdejer N. Olsen foreslog at bruge pladsen til et genforeningsmindesmærke. Lærer Harlou fik foranstaltet valg af et syvmandsudvalg til at gennemføre arbejdet. Udvalget henvendte sig til arkitekt V.H. Hammer, København, der vederlagsfrit leverede en tegning, hvorefter pladsen blev reguleret og mindet opstillet, ligesom arkitekten senere tegnede inskription og udsmykning af stenen.
Johanne Lassen, Flensted Mark, skænkede de fleste af stenene, der indgik i stensætningen. Gårdejer N.A. Olsen skænkede stendyssens overligger. Hovedstenen havde stået som hjørnesten ved Thybo-led ved Kalbygaard, og ifølge sagnet, ville der udbryde kvægpest på gården, hvis stenen blev flyttet. Gårdens daværende ejer, kaptajn Dohlmann håbede imidlertid, at når stenen blev anvendt som hovedsten i et mindesmærke for genforeningen, ville forsynet sikkert se "mildt" på en sådan flytning. Under mund- og klovsyge-epidemien i 1927 ramte sygdommen heller ikke gårdens besætning.