Диалло — воспитанник клубов «Ангулем», «Тур», «Шамбра ле Тур» и «Монако». Поиграв немного за академию последнего, Ибраима в поисках игровой практики был арендован «Брестом». 17 августа 2018 года в матче против «Сошо» он дебютировал в Лиге 2. По итогам сезона Брест вышел в элиту и выкупил трансфер Ибраима. Сумма трансфера составила 2 млн. евро. 10 августа 2019 года в матче против «Тулузы» он дебютировал в Лиге 1. Летом 2020 года Диалло перешёл в английский «Саутгемптон» за 15 млн фунтов, подписав контракт на 4 года. 17 октября в матче против «Челси» он дебютировал в английской Премьер-лиге.