Костич — воспитанник клубов «Раднички» из своего родного города. В 2009 году в возрасте 17 лет он дебютировал за команду в чемпионат Сербии. 26 сентября 2010 года в матче против «Нови-Сад» Филип забил свой первый гол. По окончании сезона интерес к полузащитнику проявили «Црвена Звезда» и бельгийский «Андерлехт». В 2012 году Костич перешёл в нидерландский «Гронинген». Сумма трансфера составила 1,3 млн евро. 21 октября в матче против «Херенвена» он дебютировал в Эредивизи. В первом сезоне Филип нечасто выходил на поле, но вскоре смог доказать свою состоятельность и завоевал место в основе. 20 октября 2013 года в поединке против ПСВ он забил свой первый гол. Во втором сезоне Костич забил 11 мячей и стал одним из лидеров клуба. Летом 2014 года Филип перешёл в немецкий «Штутгарт», подписав контракт на пять лет. Сумма трансфера составила 5 млн евро. 24 августа в матче против мёнхенгладбахской «Боруссии» он дебютировал в немецкой Бундеслиге, заменив Александру Максима во втором тайме. 13 декабря в поединке против «Майнц 05» Костич забил свой первый гол за «Штутгарт». В начале 2016 года Филипом интересовались дортмундская «Боруссия» и «Ливерпуль», а летом «Валенсия» предлагала за него 12 млн евро. По итогам сезона «Штутгарт» вылетел из элиты и Костич покинул команду.