Король Людовик VI у 1122 побудував тут замок Гран-Шатле. У 1346 замок постраждав від Чорного Принца, але залишилась Свята Капелла (архітектор П'єр де Монтрьо), побудована для короля Людовика IX в стилі готика. Капелла замку Гран-Шатле вважалася надзвичайно гарною і стала взірцем для побудови Святої Капелли (відома як Сен-Шапель) в Парижі.
Король Карл V Мудрий відновив замок на старому місці. Другий король, Франциск I, наказав перебудувати споруду. Так звані Італійські війни Франції познайомили короля й аристократів з надбанням Італійського Відродження. Багатьох майстрів Італії запросили на роботи в королівських резиденціях Франції. А король Генріх II навіть одружився з Катериною Медичі з Флоренції. Саме для них французький архітектор-новатор Філібер Делорм робить добудови замку. Парадний двір видовжили, обнесли службовими приміщеннями з вежами, а схил пагорба прикрасили довгими барокового характеру сходинками. Новим для Франції був і регулярний сад італійського зразку, один з перших в країні. Вважають, що взірцем добудов була італійська вілла Ланте.
У XVII столітті поблизу Сен-Жерменського палацу архітектор Франсуа Мансар побудував один з найкращих своїх заміських палаців — палац Мезон-Лафіт. Низка хижаків володарів перебудовувала палац і сад, тому в первісному вигляді збережено лише фасади палацу. Ансамбль з парадних стін (арх. Ф. Мансар) і регулярний сад зруйновані. Сад відновлено в значно зменшеному варіанті і за планом іншого садівника.
Король Генріх II Валуа
Новий палац, арх. Філібер Делорм, 16 століття (зруйновано в 18 ст.)
Екатерина Медичі, дружина Генріха Другого
Подальша доля замку
Король Людовик XIII зробив замок своєю резиденцією. Його наступник, Людовик XIV, не любив а ні Сен Жермен, а ні Лувр, і переїхав у Версаль, де розпочав грандіозні будівельні роботи по створенню нової резиденції. Але наказав відновити палац архітектору Луї Лево, а парк реставрував і додав нові частини сам Андре Ленотр.
У 1688 замок-палац відвели під резиденцію короля вигнанця з АнгліїЯкова II Стюарта, який тут мешкав до смерті, тут його і поховали.
Людовик XVI передав замок своєму брату графу Артуа, а той зруйнував «новий» палац Філібера Делорма, а вивільнені земельні ділянки продав. Вціліла лише частина замку для Генріха IV. Наполеон Бонапарт наказав відкрити в замку військову школу для кавалеристів, а його племінник Наполеон III-й відвів пусті приміщення після школи під музей археології.