สโคลส์ เลิกเล่นทีมชาติอังกฤษในปี 2004 ด้วยวัยเพียง 29 ปี หลังตกรอบยูโร แต่ว่าค้าแข้งกับ แมนฯ ยูไนเต็ด จนถึงปี 2013 

"ผมมีครอบครัวเล็กๆ ในตอนนั้นและการต้องจากบ้านไปร่วมทีมชาติเป็นเวลา 10 วัน หรือบางครั้ง 6 สัปดาห์ในช่วงซัมเมอร์ ไม่ใช่เรื่องที่โอเคนักและผมก็ไม่สนุกด้วย"

"ผมเสียใจที่อำลาทีมชาติอังกฤษเร็วไป ผมกลับมา ยูไนเต็ด และการเล่นฟุตบอลของผมได้เปลี่ยนไป" สโคลส์ กล่าวถึงการปรับตำแหน่งเล่นต่ำกว่าเดิมในแดนกลางจนยืดอายุค้าแข้งได้อีกหลายปี

นอกจากนี้ สโคลส์ ยังเปิดเผยว่าได้ตอบปฏิเสธโอกาสกลับไปเล่นทีมชาติอีกครั้งหลังได้รับข้อเสนอให้ลุยรอบสุดท้ายฟุตบอลโลก 2010 ที่ประเทศแอฟริกาใต้ 

"มันเป็นตอนก่อนฟุตบอลโลกที่แอฟริกาใต้ ผมเล่นได้ดีในฤดูกาลนั้นและทีมชาติก็มีปัญหาบาดเจ็บบางราย ฟาบิโอ คาเปลโล่ ต้องการให้ผมกลับไป ผมได้รับโทรศัพท์จาก สจ๊วร์ต เพียร์ซ ที่เป็นสตาฟฟ์ตอนนั้น"

อย่างไรก็ตาม สโคลส์ ได้บอกปัดโอกาสคัมแบ็กเพราะมองว่าไม่เหมาะสมและเอาเปรียบนักเตะคนอื่นที่เล่นมาตลอดในช่วงรอบคัดเลือก