Das Wahrzeichen der Ortschaft Davensberg bezeugt den Standort der nicht mehr vorhandenen Ritterburg Davensberg, die erstmals 1263 erwähnt wurde. Die Burg stand auf einem künstlichen Erdhügel, einer Motte, und war von Gräften umgeben. Im 18. Jahrhundert, als die Burg von den Edelherren von Büren in den Besitz der Nordkirchener überging, waren die meisten Gebäude bereits unbewohnbar. Bis auf den Rundturm aus der großen Ausbauphase der Bürener (1530) ist von der Burg heute nichts mehr erhalten.

Der Turm in Davensberg beherbergt heute ein Museum, im untersten Geschoss das Gefängnis, im Untergeschoss die Folterkammer und im Hauptgeschoss mit seinem gotischen Sterngewölbe die Gerichtsstube.