Tussen 1575 en 1655 liepen de gemoederen hier regelmatig hoog op. Katholieken en protestanten hadden elk hun eigen redenen om de locatie niet te willen opgeven. Vooral de katholieke bedevaarten naar deze plek waren de protestanten een doorn in het oog.

In 1820 werd de kerk van Wilsveen ontmanteld en werd tussen de muurresten een begraafplaats aangelegd. De oudste delen van de begraafplaats zijn sinds 1998 Rijksmonument.