Первісна фортеця була побудована в 12 столітті для княжої сім'ї Ліппе. У 1500 році сімейство переїхало в Детмольд, де побудували нову резиденцію, і фортеця Браке втратила своє значення.
У 1584 році вона перейшла до найвідомішого його власнику - графу Симону VI з роду Ліппе. Він був добре освіченою людиною, цікавився науками і колекціонував живопис. Граф перебудував фортецю в замок в стилі везерського ренесансу і зробив його своєю резиденцією. Вежа використовувалась ним для астрономічних цілей і спостереження за зірками.
На території є італійський ресторан і старий водяний млин. Всередині замку розташований музей везерського ренесансу.
Як дістатися: Парковка N 52 01.372 E 8 54.891. Залізнична станція Lemgo-Lüttfeld знаходиться в двох хвилинах від замка.