Das erste Gebäude an dem Ort, die Maison des Piliers, entstammte dem 14. Jahrhundert und wurde im Jahr 1357 von Étienne Marcel zum Rathaus umgewidmet. Im 16. Jahrhundert wurde es wegen Baufälligkeit abgerissen und im Stile der Renaissance neu gebaut. Am 4. September 1870 wurde im Gebäude die Dritte Republik ausgerufen. Während der Pariser Kommune wurde das Hotel de Ville in Brand gesteckt, wobei nur die Fassade übrig blieb und das Stadtarchiv vernichtet wurde.
Das gegenwärtige Gebäude mit 146 Statuen an der Fassade wurde in den Jahren 1874–1882 gebaut. Es wurde von den ArchitektenThéodore Ballu (1817–1885) und Pierre Deperthes (1833–1898) entworfen.
Der Platz vor dem Rathaus war im Mittelalter der älteste Hafen- und Anlegeplatz und es wurden die wichtigsten Güter umgeschlagen. Dieser Ort war die Keimzelle der Stadt Paris. Sein sandiges, flaches Ufer gab ihm den Namen Place de Grève (deutsch: Sanduferplatz). Wegen der vielen Streiks unzufriedener Arbeiter bekamen die Begriffe „faire (la) grève“ und „être en grève“ die Bedeutung von „streiken“. Der Platz war in den vergangenen Jahrhunderten berüchtigt für öffentlichen Hinrichtungen, auf dem Platz standen Galgen, Pranger und Richtblock.
Während der Revolution war eine Guillotine auf dem Platz aufgebaut. Am 14. Juli 1789, dem Tage des Sturms auf die Bastille, wurde der VogtJacques de Flesselles hier von einer Menge gelyncht und sein Kopf wurde als Trophäe vom Körper abgetrennt. Im Hôtel de Ville wurde am 9. Thermidor II (27. Juli 1794) Robespierre in den Kiefer geschossen und festgenommen. Am nächsten Tag wurde er hingerichtet.