Si les alençonnais pouvaient visiter l'intérieur du château, ils seraient très décus car l'usage pénitentiaire a presque tout détruit. Il ne reste que l'enveloppe des murs, dont les ouvertures  sont presque toutes modifiées côté ville, et quelques plafonds voûtés : dans la petite chapelle, l'atelier, le service médical. Les anciennes poutres de plafond, moulurées et massives, ont souvent disparu. On peut encore en voir au dessus de l'entrée des parloirs famille. Les décors sont rares et frustres. Les sols, plafonds et escaliers ont été reconstruits au début du XIX ème s. , la charpente rebâtie après l'incendie de 1714 .
En 2005, je ne pouvais hélas publier aucun plan, photo ou mesure des états anciens ou actuels en raison du secret pesant qui entourait tout ce qui touchait au monde pénitentiaire. Vous trouverez les photos des rares sculptures dans les ouvrages d'Isabelle Chave.

Le concepteur s’est probablement inspiré du château de Vincennes où l’on retrouve un châtelet à deux tours, des voûtes à nervure, culots, multiplication des moulures, niches de façade (I. Chave, 2000, p. 21).

Le châtelet et la tour dite couronnée conservent une part du décor sculpté intérieur, essentiellement formé de clefs-de-voute et de culots. Au  troisième étage [second dans le texte Chave]de la tour orientale du châtelet (salle hexagonale, servant de chapelle, et passage attenant), subsistent, en guise de clef-de-voûte, deux écus aux armes d’Alençon (le champ orné de trois fleurs de lys 2-1 et la bordure chargée de huit besants), sans trace de polychromie. A cet étage, les trois pièces présentent des culots d’ogives, traités en pyramide inversées ; leur sobriété générale, adaptée au traitement peu aisé du granite, forme un contraste net avec le décor végétal de la salle inférieure de la tour E (salle de musculation de la prison), où les culots, d’un module assez court, s’ornent tantôt de feuilles de vigne, tantôt de grappes de raisins, en un décor tournant, réparti avec équilibre sur les trois faces du culot. Si les ogives présentent aux deux niveaux une section identique, les culots trahissent des inspirations diverses et sans doute une réalisation par plusieurs mains. 
Les salles du châtelet et de la tour couronnées sont [en 2005] revêtues d’un badigeon blanc uniforme, sauf l’actuelle chapelle et le passage attenant. L’usage pour les voûtains d’un appareil de moellons paraît grossier et en fort contraste avec la qualité des ogives et des culots ; ils furent très certainement, dès l’origine, masqués par un badigeon, voire comme à Vincennes, en la salle dite du Conseil au premier étage de la tour maîtresse, par un lambris. On peut supposer que les clefs-de-voûte  étaient destinés à être peintes (fleurs d’or, champ d’azur, bordure de gueules et besants d’argent) (I. Chave,2000, p. 57).