La storia del Castello si confonde con quella dei Signori di Spilimbergo, gli Spengenberg, famiglia di nobili di origine carinziana, fedeli all’Impero, tra le più ragguardevoli in Regione e fra quelli presenti nel Parlamento del Friuli, “ministeriales” del Patriarcato di Aquileia. Il Castello sostenne numerosi assedi nel corso delle guerre medievali tra i signori veneti e friulani, resistendo a numerosi assalti. Non è possibile ricostruire come il Castello apparisse all’epoca, poiché venne distrutto, demolito, ricostruito e ampliato più volte. Ciò che oggi è visibile del Castello di Spilimbergo, dunque non risale ad un originario edificio, ma ad una serie di modifiche che si sono venute a sommare durante i secoli. Già danneggiato da un terremoto, il Castello nel 1511 fu incendiato nel corso di una rivolta popolare; l’ala sud non fu più ricostruita, si salvò solo il cosiddetto Palazzo Dipinto. Fu ancora modificato nel 1566; nel 1865 fu demolita la torricella sul ponte e ampliato l’ingresso; furono inoltre effettuati altri cambiamenti che portarono all’attuale configurazione. Il Castello si presenta oggi come un agglomerato di residenze signorili, disposte ad anello attorno all’ampia corte centrale, ed è circondato per metà da un profondo fossato, mentre per il resto è a picco su di una scarpata del Tagliamento.