После прохождения всех уровней академии «Суонси Сити», перед началом сезона 2012/13 Дэвис подписал с клубом двухлетний контракт. В основном составе «лебедей» Бен дебютировал 25 августа 2012 года в игре с «Вест Хэм Юнайтед» (3:0), заменив на 84 минуте Нила Тейлора. С тех пор Дэвис стал основным левым защитником команды. 23 ноября валлиец подписал с «джекс» новый контракт сроком на 3,5 года. 19 января 2013 года Дэвис забил свой первый гол за клуб, поразив ворота «Сток Сити» (3:1), таким образом, став самым молодым автором забитого гола в футболке «Суонси» в Премьер-лиге. 22 июля 2014 года валлиец перешёл в «Тоттенхэм Хотспур».