Une première vague d'invasions au IIIème siècle ébranle un Empire romain sur le déclin. La réorganisation de l'Empire profite à la Provence qui est relativement privilégiée, Arles devient une résidence impériale. Au début du Vème siècle une deuxième vague d'invasions submerge et disloque définitivement l'Empire Romain d'Occident. Les Vandales dévastent la région, Wisigoths, Ostrogoths et Burgondes se taillent des royaumes dans la "Provincia" romaine. En 474, Avignon est la position fortifiée la plus au sud du royaume des Burgondes dont elle fait partie.
Les citadins fuient les villes, chassés par les guerres et les pillages, décimés par les épidémies. Avignon comme bien d'autres villes est réduite au septième de son ancienne superficie. On fortifie ce qu'il reste de la cité romaine en construisant une muraille solide plus courte et plus facilement défendable autour du Rocher, reemployant les éléments des monuments romains démantelés.
En 500, Gondebaud le roi des Burgondes se réfugie à Avignon, poursuivi par le roi franc Clovis, qui ne parvient pas à prendre la cité puissamment fortifiée. La ville passe sous le contrôle des Wisigoths vers 506, puis des Ostrogoths deux ans plus tard. En 537, le roi Vitigès cède Avignon avec la Provence aux rois Francs.