شيّد هذا القصر الخديوي إسماعيل في عام 1870 ليكون مقر سكن لزوج إحدى بنات الخديوي إسماعيل أحمد خيري باشا وهو تركي الأصل.
قام بتصميم زخارف المبنى المعماري ماكس هيرز في حين أن المعماري الذي قام بتصميم المبنى غير معروف. وبعد وفاة أحمد خيرى باشا في عام 1883 أقام بالقصر نجله حسن بك خيري فترة ثم انتقل فيما بعد للسكن بالزمالك.
في عام 1899 اشترى التاجر اليوناني نستور جاناكليس القصر وقام بتحويله إلى مصنع لصناعة السجائر بعد أن قام بعدة تعديلات بالقصر ليصلح لهذا النشاط.
في عام 1908 ولمدة سبعة أعوام تم استغلال المبنى ليكون مقراً للجامعة الأهلية برئاسة الأمير أحمد فؤاد الأول (ملك مصر فيما بعد) قبل انشغاله بالسياسة والحكم. وكانت حجرة مكتبه هي نفس حجرة مكتب رئيس الجامعة الأمريكية الآن. ثم شغلته فيما بعد مدرسة تجارية تابعة للحكومة.
وقد ظهرت بشائر أول فكرة لبناء جامعة أمريكية في القاهرة عام 1916 بمعرفة مجموعة من الأمريكيين المقيمين بمصر والذين رغبوا في تقديم شيئاً للبلد التي أحبوها. كما أرادوا إنشاء جامعة عصرية تقوم يتدريس مناهج العلوم الحديثة ولم يكن يعلم الخديوي إسماعيل عندما شيّد هذا القصر أنه سيصبح في يوم من الأيام مبنى الجامعة الأمريكية.
