Риза родился в семье выходцев из Албании. В 2000 году он начал заниматься в футбольной академии клуба «Брондбю». 26 августа 2012 года в матче против «Эсбьерга» он дебютировал в датской Суперлиги, заменив во втором тайме Яна Кристиансена. Летом 2013 года подписал новый контракт с клубом до 2016 года. 10 ноября в поединке против «Орхуса» он забил свой первый гол за «Брондбю». По окончании сезона интерес к Ризе обозначили французская «Тулуза» и турецкий «Фенербахче». 28 мая 2016 года подписал пятилетний контракт с испанским клубом «Реал Бетис». 20 августа в матче против «Барселоны» он дебютировал в Ла Лиге. 25 февраля 2017 года в поединке против «Севильи» Дурмиси забил свой первый гол за «Бетис». Летом 2018 года перешёл в итальянский «Лацио», подписав контракт на пять лет. Сумма трансфера составила 6,5 млн евро. 25 августа в матче против «Ювентуса» он дебютировал в итальянской Серии A. 31 января 2022 года перешёл на правах аренды в роттердамскую «Спарту».