Margarita de Austria fue tía de Carlos V y gobernadora de los Países Bajos. El palacio actualmente aloja el tribunal de justicia. Su cuidado jardín evoca los parajes del Renacimiento.

El edificio construido entre 1517 y 1530 se considera de lso primeros en estilo renacentista de Bélgica, si bien fue inicialmente comenzado por Rombout Keldermans en estilo gótico tardío. El patio interior con sus arcos y fachadas en ladrillo y arenisca corresponden con esta época inicial.

En 1561 el edificio se convirtió en residencia del arzobispo de Malinas pero en 1609 volvió a ser adquirido por la ciudad para albergar el Grote Raad (Gran Consejo), el tribunal supremo de los Países Bajos. En 1612 se añadió una sala de audiencias para dicho consejo ya en estilo completamente renacentista.

Entre los años 1876 y 1882 el edifició sufrió una drástica restauración que acentuó el carácter renacentista del edificio y añadió todo un nuevo ala en estilo neorenacentista.

Especialmente destacable en el edificio sería la bóveda de la cámara de Granvelle y el techo renacentista temprano del salón del trono de Margarita de Austria.