18 октября 2008 года дебютировал за «Кристал Пэлас» в матче чемпионата против «Барнсли». 20 октября того же года подписал с клубом трехлетний контракт, а Нил Уорнок заявил, что у Клайна «большое будущее». В сезоне 2009/10 выступал в составе «Кристал Пэлас» в рамках Чемпионшипа. В первой половине сезона редко попадал в стартовый состав, сыграв всего в шести матчах. В декабре забил дебютный гол в составе «Пэлас», поразив ворота «Рединга» на выезде (2:4). В зимнее трансферное окно 2010 года «Кристал Пэлас» принял предложение «Вулверхэмптона» о трансфере Клайна, однако сам футболист отказался от перехода к «волкам», выступавшим на тот момент в Премьер-лиге. В сезоне 2010/11 не пропустил ни единой встречи чемпионата и ни разу не был заменен в 42 матчах. В конце сезона был признан игроком года в «Кристал Пэлас», а также стал лучшим молодым игроком года во всей английской лиге. По итогам сезона 2011/12 попал в символическую сборную Чемпионата Футбольной лиги.