L’existence de la paroisse de Pouilly les Nonains semble aussi ancienne que celle du prieuré. L’église romane placée sous le vocable de Saint Paul servait à la fois aux religieuses bénédictines et aux paroissiens.
Les vilains vivaient à l’abri des remparts du bourg fortifié. Le prieuré actuel date de la fin du XVème siècle alors que la Prieure était Dame Guillomette d’Albon Saint André. C’est d’ailleurs à la famille d’Albon que l’on doit l’édification au XVIème siècle de la chapelle Saint-Joseph, réservée aux bénédictines cloîtrées. La vie conventuelle disparut totalement au cours du XVIIIème siècle.