Stenen er en 13 tons tung, utilhugget natursten, givet af gårdejer Niels Sørensen, "Toftegaard", Elling og fundet på hans mark 3 km fra højen.
Ejer Bavnehøj blev ved genforeningen anset for Danmarks højeste punkt. Senere (1941) tilfaldt æren Yding Skovhøj, men da den kun var højere, fordi en gravhøj på toppen blev "talt" med, blev den senere degraderet til fordel for Møllehøj, som vist er 51 cm højere end Ejer Bavnehøj.