Эшли Янг забил в своём дебютном матче за основной состав «Уотфорда» в сентябре 2003 года, выйдя на замену в матче против «Миллуолла». В сезоне 2003/04 он пять раз выходил на замену и забил три мяча, а также дебютировал в стартовом составе своего клуба в матче Кубка Футбольной лиги. В следующем сезоне Янг стал регулярно играть за основу своего клуба, сыграв в 34 матчах чемпионата. Несмотря на то, что он не забил ни одного мяча в этом сезоне, ему вручили клубную награду «Молодой игрок сезона». В сезоне 2005/06 под руководством Эйди Бутройда Янг стал играть на позиции нападающего. В 41 матче чемпионата он забил 15 мячей, включая гол в полуфинале плей-офф в ворота «Кристал Пэлас». В финале плей-офф «Уотфорд» разгромил «Лидс Юнайтед» со счётом 3:0 и вышел в Премьер-лигу. Янг уверенно начал сезон 2006/07 в Премьер-лиге, забив 3 мяча в начале чемпионата, включая гол с дальней дистанции в ворота «Фулхэма» на последних минутах. В январское трансферное окно 2007 года от трёх клубов поступило предложение о приобретении Янга за 5 млн фунтов стерлингов. «Уотфорд» отказался от этих предложений, а также от поступившего 12 января предложения в £7 млн (клубы, проявлявшие интерес в приобретении Янга, не назывались).