Хавьер начинал свою карьеру в академии мадридского «Реала», но в 2007 г. перешёл в систему «Атлетико Мадрид». В сезоне 2011/12 защитник начал выходить на поле в составе «Атлетико Б», отыграв тринадцать игр чемпионата. Хавьер успешно выступал за молодёжную команду клуба, однако в составе главной команды на различных турнирах появлялся разве что на скамейке запасных. В примере сезона 2013/14 вышел на поле 3 раза, что позволило по итогу сезона получить медали чемпиона Испании. В полуфинальном матче кубка Испании против "Реала"(0:2), получил травму позвонка при столкновении с Криштиану Роналду. 6 августа 2014 года перешёл в английский «Ливерпуль» на правах двухгодичного арендного соглашения. В официальных матчах за новый клуб дебютировал в первом туре Английской Премьер-лиги против «Саутгемптона» (2-1). После года аренды, «Ливерпуль» разорвал контракт с Хавьером, который вернулся в «Атлетико Мадрид». В 2015 был на год отдан в аренду в «Марсель».