Маттиа родился в Бергамо, и начал свою карьеру в родном городе, играя в молодёжных командах клуба «Аталанта». Он играл за команду «примаверы» с 2011 по 2014 год, (сезон 2013/14 Кальдара играл уже в двадцатилетнем возрасте), а 5 мая 2014 года Кальдара дебютировал за основную команду в Серии А, выйдя на замену во втором тайме матча с «Катанией». 2 августа 2018 года Кальдара официально стал игроком «Милана», спустя всего две недели с момента презентации в качестве игрока «Ювентуса». Трансфер состоялся в рамках прямого обмена на Леонардо Бонуччи, выразившего желание вернуться обратно в Турин. Стоимость обоих игроков была оценена клубами в 35 млн евро. 20 сентября 2018 года дебютировал за «Милан» в выездом матче Лиги Европы 2018/19 против люксембургского «Дюделанжа», выйдя на поле в стартовом составе. 12 января 2020 года было анонсировано, что Кальдара на правах аренды присоединится к «Аталанте» до июня 2021 года.