Genforeningsstenen i Kølstrup blev afsløret den 5. september 1920. Der er tale om en "trilobit-mindesten", der minder om tre begivenheder. Sognets daværende præst, dr. phil. Arne Møller har forfattet indskrifterne.
På forsiden:

GENFORENINGS
AARET
1920
MANDEMOD
TROFASTHED
DANMARKS LYKKE

På siden mod kirken:

POUL BAGGER
PRÆST I KØLSTRUP
3 NOVEMBER 1659

På modsatte side:

ERIK
HØIER MØLLER
EN GAMMEL FELTPRÆST
1850 OG 64

Poul Bagger løb den pågældende nat til Kerteminde for at give det danske militær oplysning om den svenske styrke, der stod ved Ulriksholm, nær ved Kølstrup præstegård. Som følge heraf lagde svenskerne hans præstegård i ruiner.

Erik Høier Møller var feltpræst i begge krige og tillige forfatter.