Дрейер — воспитанник клубов «Брамминг» и «Эсбьерг». 2 апреля 2017 года в матче против «Раннерс» он дебютировал в датской Суперлиге в составе последнего. 22 апреля в поединке против «Хорсенс» Андерс забил свой первый гол за «Эсбьерг». По итогам сезона клуб вылетел в Первый дивизион, но Дрейер остался в команде и через год, став лучшим бомбардиром, помог ей вернуться в элиту. Летом 2018 года перешёл в английский «Брайтон энд Хоув Альбион», где для получения игровой практики начал выступать за дублирующий состав. В начале 2019 года был отдан в аренду в шотландский «Сент-Миррен». 27 января в матче против «Хиберниана» он дебютировал в шотландской Премьер-лиге. 6 апреля в поединке против «Гамильтон Академикал» Андерс забил свой единственный гол за «Сент-Миррен». В августе 2019 года перешёл на правах аренды в нидерландский «Херенвен». 31 августа в матче против ситтардской «Фортуны» он дебютировал в Эредивизи. 8 декабря в поединке против «Валвейка» Андерс забил свой первый гол за «Херенвен». В начале 2020 года Дрейер вернулся на родину, подписав контракт с клубом «Мидтьюлланн», подписав контракт на 4 года. 17 февраля в матче против «Люнгбю» он дебютировал за новую команду. В том же поединке Андерс забил свой первый за «Мидтьюлланн». В том же году он стал чемпионом Дании. В матчах Лиги чемпионов против швейцарского «Янг Бойз», пражской «Спарты» и амстердамского «Аякса» Дрейер забил три мяча. В августе 2021 перешел в казанский «Рубин», подписав пятилетнее соглашение. 13 сентября 2021 в матче против «Уралом» он дебютировал в РПЛ. В этом же поединке Андерс сделал хет-трик, забив свои первые голы за «Рубин».