Воспитанник Академии «Манчестер Юнайтед». Может сыграть на позициях крайнего правого или левого защитника. В основном составе «Юнайтед» Уильямс дебютировал 25 сентября 2019 года в матче Кубка Английской футбольной лиги против «Рочдейла», выйдя на замену Филу Джонсу. 3 октября 2019 года Брандон впервые вышел в стартовом составе «Юнайтед» в матче Лиги Европы против нидерландского клуба «АЗ». 20 октября 2019 года дебютировал в Премьер-лиге, выйдя на замену в концовке матча против «Ливерпуля». 24 ноября 2019 года забил свой первый гол в Премьер-лиге в матче против «Шеффилд Юнайтед», который завершился вничью со счётом 3:3. В начале августа 2020 года подписал новый контракт с «Манчестер Юнайтед» до 2024 года с опцией продления ещё на год. 23 августа 2021 года отправился в аренду в клуб «Норвич Сити» до конца сезона 2021/22. 24 августа 2021 года дебютировал в основном составе «Норвич Сити» в матче Кубка Английской футбольной лиги против «Борнмута».