Кастровилли — воспитанник клубов «Минервино» и «Бари». 22 мая 2015 года в матче против «Специи» он дебютировал в итальянской Серии B. В 2015 году Гаэтано на правах аренды перешёл в молодёжную команду «Фиорентину». В 2017 году клуб выкупил трансфер игрока и сразу же отдал его в аренду в «Кремонезе». 3 сентября в матче против «Авеллино 1912» он дебютировал за новую команду. В этом же поединке Гаэтано забил свой первый гол за «Кремонезе». Летом 2019 года Кастровилли вернулся в «Фиорентину». 24 августа в матче против «Наполи» он дебютировал в итальянской Серии A. 29 сентября в поединке против «Милана» Гаэтано забил свой первый гол за «Фиорентину».