Летом 2017 года Огюсиен в поисках игровой практики перешёл в немецкий «РБ Лейпциг», подписав контракт на пять лет. Сумма трансфера составила 13 млн евро. В матче против «Шальке 04» он дебютировал в Бундеслиге. 16 сентября в поединке против менхенгладбахской «Боруссии» Жан-Кевин забил свой первый гол за «РБ Лейпциг». 17 октября в матче Лиги чемпионов против португальского «Порту» он отметился забитым мячом.