Le départ du pape et de sa cour, et les troubles accompagnant le séjour de l'antipape Benoît XIII portent un coup rude à la ville. La population chute et s'établit à environ 15 000 personnes, ce qui est néanmoins au moyen âge une taille respectable, et Avignon garde encore une grande partie de son prestige : elle est un pôle commercial, financier et artistique, d'où s'exerce l'influence italienne dans tout le midi de la France.
Petit palais d'Avignon © VF
Le Comtat venaissin et Avignon sont gouvernés par un légat nommé par le pape, en accord avec le roi de France. Au XVème siècle, le légat est un personnage important. Le cardinal Julien de la Rovère, le futur pape Jules II, est légat en Avignon de 1474 à 1503. Il rénove la ville et achève la construction du Petit Palais.
portrait du pape Jules II par Raphaël
En 1481 le roi de France Louis XI hérite du comté de Provence, Avignon et le Comtat venaissin forment désormais une enclave dans le Royaume de France. Les légats avignonnais sont nommés par le pape, avec l'accord du roi de France. Les troupes du roi François Ier occupent Avignon en 1524 lors de l'invasion de la Provence par les armées de Charles Quint.
Le roi de France François Ier octroit le titre de "régnicoles" (c'est à dire "habitants du royaume") aux habitrants d'Avignon et du Comtat et leur concède quelques avantages commerciaux, en récompense de leur soutien matériel et surtout financier.
portrait François 1er par Jean Clouet