Каллум — воспитанник юношеской академии «Челси». Летом 2017 года интерес к нему проявляли «Ювентус» и «Бенфика», но Хадсон-Одои подписал трёхлетний контракт с «Челси». 28 января 2018 года Хадсон-Одои дебютировал за «Челси», выйдя на замену Педро на 81-й минуте матча Кубка Англии против «Ньюкасл Юнайтед». Всего до конца сезона Каллум выходил на поле ещё в трёх матчах, но результативными действиями отметиться не сумел. 29 ноября 2018 года полузащитник забил первый гол за «синих», поразив ворота греческого клуба ПАОК в матче группового этапа Лиги Европы. С начала 2019 года Хадсон-Одои стал регулярно привлекаться к матча команды, выходя преимущественно на замены по ходу матчей. 22 апреля 2019 года в матче с «Бернли» получил травму ахиллова сухожилия и выбыл до конца сезона. 19 сентября 2019 года Хадсон-Одои подписал новый пятилетний контракт с «Челси», согласно которому его зарплата выросла до 120 тысяч фунтов стерлингов в неделю.