Начал футбольную карьеру в академии клуба «Халл Сити». В 2014 году стал игроком «Суонси Сити». Компенсация «Халлу» составила 72 000 фунтов единовременно и по 25 000 фунтов за каждые десять матчей, которые Джеймс проведёт в основе «Суонси». 30 июня 2017 года Джеймс отправился в аренду в клуб Лиги 1 «Шрусбери Таун», изначально рассчитанную на полный сезон, однако уже 31 августа 2017 года он вернулся в «Суонси», так как не смог пробиться в основной состав. 6 февраля 2018 года Джеймс дебютировал в основном составе «Суонси Сити», выйдя на замену в матче четвёртого раунда Кубка Англии против «Ноттс Каунти» и забив гол. 17 августа 2018 года Джеймс дебютировал в Чемпионшипе в матче против «Бирмингема». 24 ноября 2018 года забил свой первый гол в лиге в матче против «Норвич Сити». 31 января 2019 года, в последний день зимнего трансферного окна, сорвалась сделка по переходу Джеймса в «Лидс Юнайтед» за 10 млн фунтов. Джеймс уже прошёл медицинское обследование в «Лидсе», но руководство «Суонси» в последний момент отменило сделку из-за недовольства финансовыми условиями трансфера. 7 июня 2019 года «Манчестер Юнайтед» объявил о достижении соглашения со «Суонси Сити» о переходе Джеймса. А уже в июне переход Джеймса был завершён, сумма трансферной сделки составила 15 миллионов фунтов. 11 августа 2019 года дебютировал за «Ман Юнайтед» в матче первого тура английской Премьер-лиги против лондонского «Челси» на стадионе «Олд Траффорд», выйдя на замену на 74-й минуте, а на 81-й минуте забил мяч в ворота «аристократов». Матч завершился победой «МЮ» с разгромным счётом (4:0). В конце августа 2021 года перешёл в «Лидс» за 25 миллионов фунтов стерлингов.