Кай начал играть в футбол в детстве, в возрасте четырёх лет, в любительской команде «Алемания Мариадорф». Туда талантливого ребёнка по настоянию деда Ричарда Вайденхаупт-Пельцера, являвшегося председателем этого клуба, взяли в качестве исключения: по правилам дети занимались здесь с шести лет. По словам своего первого тренера Дирка Морфельда, он был всего лишь «размером с огнетушитель», но его крошечная фигура источала такое упорство, которое поражало тренеров. Проведя большую часть своего времени в «Мариадорфе» в возрастных группах на два года выше его собственных, в 2009 году, в возрасте 10 лет, он перешёл в «Алеманию» — крупнейшему клубу в регионе. В то время он играл во второй Бундеслиге, а Кай был его постоянным фанатом. 15 октября 2016 года дебютировал в Бундеслиге в поединке против «Вердера», выйдя на замену на 83-ей минуте вместо Чарлеса Арангис. Стал самым молодым дебютантом в истории «Байера». 5 ноября 2016 года состоялся дебют в основном составе — в победном поединке против «Дармштадта» (3:2). 4 сентября 2020 года перешёл в «Челси», подписав контракт с клубом до 2025 года. Сумма трансфера составила 62 миллиона фунтов стерлингов, плюс возможные бонусы в размере 9 миллионов, что сделало его вторым по стоимости приобретением клуба после Кепы Аррисбалаги.