В июле 2010 года Абдулай подписал первый профессиональный контракт сроком на четыре года с французским «Дижоном», выступавшим в Лиге 2. Первый матч за клуб провёл 17 сентября 2010 года против «Эвиана». Во встрече 16 тура против «Шатору» отметился голевой передачей. За свой первый сезон в «Дижоне» Абдулай принял участие в 24 матчах чемпионата, а его клуб, заняв третье место в Лиге 2, получил впервые в своей истории право выступать в Лиге 1. В высшем футбольном дивизионе Франции защитник дебютировал 27 августа 2011 года во встрече с «Эвианом». Бамба вместе с «Дижоном» дошёл до 1/8 Кубка Франции и четвертьфинала Кубка французской лиги 2011/12. За сезон Абдулай отыграл 24 матча, «Дижон» покинул Лигу 1. В сезоне 2012/13 Бамба, регулярно выходя на поле в стартовом составе, провёл 26 игр в Лиге 2. 20 сентября 2013 года забил свой первый гол в профессиональной карьере, открыв счёт в матче с «Туром».