Джо является воспитанником футбольной академии клуба «Уиган Атлетик». 14 августа 2018 года дебютировал в основном составе «Уигана» в матче Кубка Английской футбольной лиги против «Ротерем Юнайтед». 24 августа 2018 года подписал с клубом свой первый профессиональный контракт. 14 сентября 2019 года забил свой первый гол за клуб в матче Чемпионшипа против «Халл Сити». В сезоне 2019/20 Джо провёл за команду 18 матчей в Чемпионшипе, но по итогам сезона «Уиган Атлетик» выбыл в Лигу 1. Летом 2020 года появилась информация об интересе к молодому нападающему со стороны «Лидс Юнайтед». 10 августа 2020 года Джо Гелхардт перешёл в «Лидс Юнайтед», подписав с клубом четырёхлетний контракт. Сезон 2020/21 провёл в резервной команде «Лидса». 21 сентября 2021 года дебютировал в основном составе «Лидс Юнайтед», выйдя на замену Матеушу Клиху в матче Кубка Английской футбольной лиги против «Фулхэма». 16 октября 2021 года дебютировал в Премьер-лиге, выйдя на замену в игре против «Саутгемптона».