Пандур — воспитанник клуба «Риека» из своего родного города. 14 декабря 2019 года в матче против «Вараждин» он дебютировал во чемпионате Хорватии. В составе клуба Ивор дважды выиграл Кубок Хорватии. Летом 2020 года Пандур перешёл в итальянский «Эллас Верона», подписав контракт на 5 лет. Сумма трансфера составила 900 тыс. евро. 28 октября в поединке Кубка Италии против «Венеции» Ивор дебютировал за основной состав. 9 мая 2021 года в матче против «Торино» он дебютировал в итальянской Серии A.