Арибо начал профессиональную карьеру в клубе «Стейнс Таун». 9 августа 2014 года в матче против «Уайтхока» он дебютировал в Истмийской лиге. В 2016 году Арибо перешёл в «Чарльтон Атлетик». 17 декабря в матче против «Питерборо Юнайтед» он дебютировал в 1 Лиге Англии. 23 декабря в поединке против «Блэкпула» Джо забил свой первый гол за «Чарльтон Атлетик». Летом 2019 года Арибо перешёл в шотландский «Рейнджерс». 4 августа в матче против «Килмарнока» он дебютировал в шотландской Премьер-лиге. 10 ноября в поединке против «Ливингстона» Джо забил свой первый гол за «Рейнджерс». 20 февраля в матче Лиги Европы против португальской «Браги» он забил гол. В 2021 году Джо помог клубу выиграть чемпионат. В 2022 году стал финалистом Лиги Европы, где в финале против франкфуртского «Айнрахта» забил гол. В том же году помог команде завоевать Кубок Шотландии. Летом 2022 года Арибо перешёл в «Саутгемптон», подписав контракт на 4 года. 6 августа в матче против «Тоттенхэм Хотспур» он дебютировал в английской Премьер-лиге. 13 августа в поединке против «Лидс Юнайтед» Джо забил свой первый гол за «Саутгемптон».