Ce monument représente le vestige du plus ancien palais royal parisien qu'était le palais de la Cité.
Ce qui était à l'origine un splendide palais gothique et faisait office de demeure royale, de Clovis jusqu'à Philippe le Bel, se voit déserté à la fin du XIVe siècle au profit du Louvre et de Vincennes. La Conciergerie devient alors prison à partir du XVe siècle.
Beaucoup de personnages célèbres y ont été enfermés, dont Marie-Antoinette notamment sous la Révolution française.

S'il a perdu de son prestige aujourd'hui, le terme de concierge n'a pas pour autant changé de fonction. Au départ, le concierge était un noble, de même que gardien et gouverneur du Palais, chargé de faire régner l'ordre, la justice et de percevoir les loyers des boutiques qui se trouvaient au rez-de-chaussée du palais.