Le château d’Oiron était la résidence principale des ducs de Roannez dans leurs terres du Poitou. L’accession de cette famille poitevine à l’élite nobiliaire de la France remonte à la faveur dont bénéficia Guillaume Gouffier sous Charles VII et Louis XI : c’est lui qui reçut du roi, en 1449, la terre d’Oiron et qui acquit en 1456, après qu’elle fut confisquée à Jacques Cœur, la baronnie de Roanne, érigée en 1566 en duché de Roannez. Pascal aurait sans doute pu fréquenter le château d’Oiron s’il avait donné suite à l’intention dont il faisait état à Pierre de Fermat dans une lettre du 10 août 1660 : « […] je suis engagé autant que je puis l’être, depuis deux mois, d’aller […] en Poitou […] pour demeurer jusqu’à Noël avec Monsieur le duc de Roannez, gouverneur de Poitou, qui a pour moi des sentiments que je ne vaux pas. » Jean Mesnard (1965) a toutefois montré que ce projet resta lettre morte.
Le présent dessin, exécuté par Louis Boudan pour le collectionneur Roger de Gaignières, offre une vue du corps principal et de l’aile gauche du château d’Oiron tels qu’ils étaient du temps de Pascal. En revanche, la cour était encore fermée du côté de l’entrée par un mur précédé d’un pont-levis, tandis que l’aile droite n’existait pas : ces modifications furent faites entre 1669 et 1683 par le maréchal de La Feuillade, qui avait épousé en 1669 Charlotte de Roannez (1633-1683), la sœur du duc à qui celui-ci, resté célibataire, venait de céder ses biens. La date de 1699 inscrite dans le cartouche de légende correspond à l’époque où le château était en vente. Il fut acquis en 1700 par Mme de Montespan, dont les armes ont été ajoutées dans la partie supérieure du dessin.