Игрок начал свою футбольную карьеру в составе «Ковентри Сити», выступавшего в Первой лиге Англии. После успешного выступления за молодёжную команду клуба, 5 октября 2013 года футболист попал в заявку основной команды на игру со «Стивениджом». Дебют игрока за «Ковентри Сити» произошёл в следующем сезоне, Мэддисон вышел на замену в матче Кубка Футбольной лиги 2014/15 против «Кардифф Сити». Первый гол игрок забил 21 октября 2014 года в матче Первой лиги против «Олдем Атлетик». В феврале 2016 года Мэддисон перешёл в «Норвич Сити», подписав с командой контракт на три с половиной года. Сразу после этого игрок вернулся в «Ковентри Сити» на правах аренды. 31 августа 2016 года футболист был отдан в полугодовую аренду в шотландский клуб «Абердин». В чемпионате Шотландии Мэддисон отыграл 14 матчей и забил 2 гола. В начале 2017 года футболист вернулся в «Норвич», первый матч за который сыграл 17 апреля. В матче Чемпионшипа против «Престон Норт Энд» Мэддисон вышел на замену и забил свой первый гол за «Норвич». В сезоне 2017/18 Мэддисон стал игроком основного состава команды, приняв участие в 44 матчах Чемпионшипа и забив 14 голов. По итогам сезона Джеймс был признан лучшим игроком своей команды, а также вошёл в состав команды года Чемпионшипа по версии ПФА. В конце июня 2018 года Мэддисон был подписан клубом «Лестер Сити», выступающим в Премьер-лиге. Сумма трансфера составила 25 миллионов фунтов, игрок заключил с командой пятилетний контракт. Первый гол за «Лестер» футболист забил 18 августа 2018 года, отличившись в домашнем матче английской Премьер-лиги против «Вулверхэмптона».