Okay Yokuşlu, futbola sekiz yaşında Karşıyaka Spor Okulu'nda başladı. Futbol hayatının tümünü ise Altay Spor Kulübü'nde geçirdi. 2004 yılında amatör olarak burada futbol oynamaya başladı. Minik takımlarda forma giyen Yokuşlu, 2009-10 sezonunda hem Altay U-18 takımında hem de Altay A2 takımında forma giymeye başladı. 6 Ekim 2009'da kariyerinin ilk A2 maçına çıkan Yokuşlu, Bucaspor'u 6-1 yendikleri maçta ikinci yarı oyuna girip 2 gol kaydetti. Yarım sezonda gösterdiği performansla dikkat çeken Yokuşlu, Musa Çağıran'ın sakatlığı sonucu teknik direktör Fuat Yaman tarafından A takıma çağrıldı. 15 Ocak 2010'da 2 yıllık sözleşme imzaladı.

Profesyonel sözleşmesinden iki gün sonra 17 Ocak 2010'da Ziraat Türkiye Kupası grup eleme maçında ilk kez Altay forması giydi. Daha 16 yaşını doldurmamış Yokuşlu, ilk 11'de sahaya çıktı, 70 dakika forma giyip, bir gol kaydetti. 20 Ocak 2010'da ise ilk kez Bank Asya 1. Lig maçına çıktı. 3 gün sonra oynanan Orduspor maçında ise 88. dakikada kafayla bir gol kaydetti. Altay'a beraberliği getiren bu gol, Yokuşlu'yu Bank Asya 1. Lig tarihinin en genç golcüsü yaptı. Yokuşlu, sezon sonuna kadar Altay takımının değişmez oyuncularından oldu. 2 milyon 300 bin TL karşılığında Kayserispor'a transfer olmuştur.