Будучи преданным болельщиком «Ньюкасл Юнайтед», Армстронг присоединился к клубу в возрасте девяти лет, пройдя через все этапы обучения в академии. В первых матчах Лиги профессионального развития забил пять мячей. 28 января 2014 года был впервые включён в заявку первой команды на игру против «Норвич Сити», так и оставшись на скамейке запасных. 15 марта 2014 года Армстронг дебютировал за клуб в рамках Английской Премьер-лиги — игрок вышел на поле на 86-й минуте встречи против «Фулхэма», заменив Люка де Йонга. Этот выход сделал его вторым самым молодым игроком, сыгравшим за «Ньюкасл» в Премьер-лиге после Казенги Луа-Луа. 24 сентября 2014 года Армстронг впервые попал в основной состав «Ньюкасла» в матче третьего круга Кубка Лиги против «Кристал Пэлас». «Ньюкасл» одержал победу со счётом 3:2 в дополнительное время, а сам Армстронг отметился двумя голевыми передачами. 26 декабря 2014 года футболист появился в основном составе в рамках Премьер-лиги, где его команда уступила «Манчестер Юнайтед» со счётом 1:3 на «Олд Траффорд».