Перед стартом нового сезона, в июне 2015 года был на год отдан в аренду в бельгийский клуб «Зюлте-Варегем», где стал игроком основного состава. 25 июня дебютировал в Лиге Жюпиле в поединке против «Локерена», выйдя на поле в основном составе и проведя всю встречу целиком. 14 июля 2017 года немецкий клуб «Майнц 05» объявил о переходе защитника до 2022 года. 26 июня 2018 года Абду Диалло перешел в «Боруссию» Дортмунд, подписав с командой 4-летний контракт. 16 июля 2019 года Диалло за 32 млн евро перешёл во французский «Пари Сен-Жермен», с которым заключил пятилетний контракт.