Роэрслев — воспитанник клуба «Копенгаген». 1 марта 2017 года в поединке Кубка Дании против «Б-93» он дебютировал за основной состав. В апреле для получения игровой практики Мадс был отдан в аренду в шведский «Хальмстад». В матче против «Эстерсунда» он дебютировал в Аллсвенскан лиге. Уже в мае из-за административной ошибки с оформлении трансфера Роэрслев вернулся обратно. 17 мая в матче против «Мидтьюлланна» он дебютировал в датской Суперлиге. 29 декабря 2018 года Роэрслев был отдан в аренду до лета 2019 года клубу «Вендсюссель». 11 февраля в матче против «Мидтьюлланна» он дебютировал за новый клуб. Летом 2019 года Роэслев перешёл в английский «Брентфорд», подписав контракт на два года, с возможностью продления ещё на год. 27 ноября в мате против «Блэкберн Роверс» он дебютировал в Чемпионшипе.