Eretto nel XV secolo era la residenza dei Gonzaga, signori di San Martino dall'Argine.
Il castello era circondato da fossato, dotato di ponte levatoio ed al suo interno erano presenti numerose sale e stanze (circa 30). Presentava un corpo di fabbrica centrale, attorno al quale vennero costruiti numerosi edifici. Arricchivano la struttura numerosi giardini, davanti e sul retro del castello, con alberi da frutta.