Силла — выпускник академии «Клермона». В составе основной команды клуба он дебютировал 15 октября 2010 года в матче против «Ле-Мана». Очень скоро его игра привлекла такие клубы, как «Штутгарт» и «Удинезе». 22 ноября 2010 года Якуба подписал свой первый в жизни профессиональный контракт, рассчитанный на четыре года. 31 января 2013 года было объявлено, что Силла подписал контракт с английским клубом «Астон Вилла» сроком на три с половиной года.