El Castillo Palacio de la Baronía se encuentra en la plaza del Castillo del municipio de Alcácer. Fue construido en el siglo XV sobre los cimientos del castillo árabe de Alcácer.^[1]​

Se encuentra bajo la protección de la Declaración genérica del Decreto de 22 de abril de 1949, y la Ley 16/1985 sobre el Patrimonio Histórico Español. Es bien de interés cultural con número 46.16.015-002.^[2]​

Durante la dominación musulmana, la población de Alcácer estaba dotada de un castillo árabe cuyos basamentos serían utilizados, en el siglo XV, para la edificación del palacio de la Baronía.^[3]​

La población musulmana fue conquistada por Jaime I de Aragón, quien la cedió en 1248 a Artal de Foces. Su señorío pasó por diversas familias hasta que en el año 1443 fue elevada a la categoría de baronía, siendo su primer titular Joan Català i Sanoguera. Mantuvo una dependencia continua de la vecina Picasent hasta 1784.^[1]​

Residencia de los nobles y símbolo del poder del señorío, tras unos primeros siglos de esplendor fue cayendo en desuso, y finalmente semiabandonado y en ruina. El Ayuntamiento rescató lo que quedaba del edificio y lo restauró y rehabilitó para convertirlo en sede del consistorio, por la que aunque se halla en un perfecto estado ha perdido lógicamente buena parte de su aspecto original y muchos de sus elementos, especialmente los fortificados y defensivos.^[4]​^[3]​