21 июля 2017 года Кастеллетто перешёл во «Брест», с которым заключил трёхлетний контракт. Его пригласили в качестве замены основному защитнику Закарии Диалло, который выражал желание покинуть клуб. Дебют Жан-Шарля в новом клубе состоялся 4 августа 2017 года в матче против «Аяччо». 22 сентября он впервые забил за «Брест», принеся команде ничью в матче с «Парижем». Сезон 2017/2018 для Кастеллетто получился успешным, он сыграл в Лиге 2 33 матча (все в стартовом составе), в которых отметился двумя забитыми голами. В июне 2018 года появилась информация об интересе к Жан-Шарлю со стороны «Ланса», однако переход не состоялся, и в новом сезоне игрок продолжил выступать за «Брест».