Томори пригласили в академию «Челси» в восьмилетнем возрасте, он является её воспитанником и лучшим игроком года в академии в 2016 году. Вместе с командой он дважды подряд побеждал в юношеской лиге УЕФА: в сезонах 2014/15 и 2015/16. 11 мая 2016 года вместе с Тэмми Абрахамом и Кейси Палмером был привлечён к основному составу для подготовки к заключительным играм чемпионата. 15 мая 2016 года дебютировал в Премьер-лиге в поединке последнего тура против «Лестера», выйдя на замену на 60-й минуте вместо Бранислава Ивановича. Вторую половину следующего сезона Томори играл в аренде за «Брайтон энд Хоув Альбион», а в августе 2017 года, вместе с некоторыми другими партнёрами по «Челси», был отдан в аренду «Халл Сити». 6 августа 2018 года был отдан в аренду в «Дерби Каунти». Первый гол забил в ворота «Норвича» 29 декабря 2018 года.