Флавьен Тэ родился в Лонжюмо, недалеко от Парижа. Он начал заниматься футболом когда ему было 5, в клубе города Фонтенэ-ле-Флери. Несмотря на то что он вырос в парижском регионе, он переехал на юг Франции когда ему было 14, чтобы продолжить свою карьеру. После двух лет в «Родезе», его заметил клуб «Шатору» и привлёк в свою команду, играющую во втором дивизионе чемпионата Франции. После того как «Шатору» спустилось в третий дивизион, игрок был замечен командой «Анже», которая в этот момент вышла в первый дивизион. В первое время тренер «Анже» Стефан Мулен давал Флавьену мало игровой практики, но постепенно игрок начал появиться чаще и чаще в составе команды и стал необходимым в тактике тренера. Зимой 2018 года он получал предложения из клубов «Лион» и «Бордо», но решил продолжить с Анже до конца сезона. Президент Анже, Саид Шабань тогда объявил что Тэ получит право уйти в конце сезона. Клубы Бундеслиги тоже показали интерес к игроку.