В мае 2009 года Тарковски подписал двухлетний любительский контракт с клубом «Олдем Атлетик». C 2011 года начал выступать за основной состав «Олдема». Его дебют состоялся 22 января 2011 года в игре против «Брентфорда». В мае 2011 года 18-летний защитник подписал с клубом первый в своей карьере профессиональный контракт. 5 мая 2012 года Тарковски забил свой первый гол за клуб (и в карьере) в матче против «Карлайл Юнайтед». В сезоне 2012/13 Джеймс закрепился в основном составе «Олдема» в качестве центрального защитника. 2 октября 2012 года забил гол в ворота «Кру Александра». 19 февраля 2013 года он забил свой второй гол в сезоне в ворота клуба «Стивенидж». Всего в сезоне 2012/13 Джеймс сыграл за клуб 26 матчей и забил 2 мяча. В июне 2013 года подписал с «Олдемом» новый двухлетний контракт.