Первые авиньонские Папы — Климент V и Иоанн XXII — жили при доминиканском монастыре, и лишь при Бенедикте XII (1334—1342) началась реконструкция старого епископского дворца, продолженная его преемниками. Папский дворец был выстроен на северной окраине города на холме со скалистыми склонами, откуда открывался вид на реку Рону. Сооружение состояло из двух частей — Старого и Нового дворцов. К моменту завершения строительства их общая площадь составляла 11 тыс. м². При этом, на возведение Папского дворца шла большая часть доходов папства.
Старый дворец был построен по проекту архитектора Пьера Пуассона Мирепо по поручению Бенедикта XII. Папа приказал разрушить старый епископский дворец и на его месте возвести более высокое и массивное здание с монастырём, мощными стенами и башнями. Во время правления Климента VI, Иннокентия VI и Урбана V крепость неоднократно перестраивалась и расширялась, и обрастало окружающими её зданиями. Так появилось ещё одно крупное сооружение — Новый дворец с часовней для проведения папских богослужений. Ещё две башни во дворце были построены при Иннокентии VI. Урбан V завершил внутренний двор (известный как Парадный двор), заключив его между основными строениями. Интерьер здания был богато украшен фресками, гобеленами, картинами, скульптурами и деревянными потолками.
Папы покинули Авиньон в 1377 году, вернувшись в Рим, но это послужило началом папского раскола, во время которого антипапы Климент VII и Бенедикт XIII сделали Авиньонский дворец своей резиденцией вплоть до 1408 года. Но даже после низложения антипап дворец несколько лет находился в руках их сторонников, располагавшихся в крепости под осадой. В 1433 году дворец вернулся в собственность папы римского.
В 1789 году во время французской революции дворец был захвачен и разграблен повстанцами, а в 1791 году стал местом массовых казней контрреволюционеров. При императоре Наполеоне многочисленные помещения дворца использовались как военные казармы и тюрьмы. В начале эпохи Третьей республики, когда в стране царили антицерковные настроения, интерьер дворца, выполненный из дерева, был разобран для строительства конюшен, а фрески замазаны.
В 1906 году французские власти отреставрировали Папский дворец и организовали в нём национальный музей.
Сегодня для посещения туристов открыто большинство зданий дворца. Кроме того, здесь же располагается большой конференц-центр и архив департамента Воклюз. Выше дворца расположен Авиньонский собор.