L’urbanisation de Port-de-Penne est groupée en rive gauche du Lot, maintenant une limite distincte en pied de coteau. Seul le centre ancien est au contact du Lot, que l’église surplombe au niveau du pont. Saint-Sylvestre-sur-Lot reste éloigné de la rivière laissant les champs au contact de l’eau.