บราวน์ ตกลงรับงานคุมทีมชาติออสเตรเลีย ลุยโอลิมปิก เมื่อ พ.ย.2019 แต่ผลพวงจากการระบาดของไวรัสโควิด-19 ทำให้ โตเกียว โอลิมปิก เกมส์ จากเดิมจัดกลางปี 2020 ต้องถูกเลื่อนออกไปเป็น 23 ก.ค.- 8 ส.ค. 2021 

แล้วไม่เพียง อลป.ฤดูร้อนที่โดนผลกระทบจากโคโรน่าไวรัส ทางลีกเอ็นบีเอก็ต้องเลื่อนปฏิทินแข่งขันฤดูกาล 2019-20 ออกมาจบช้ากว่าปกติสี่เดือน 

ส่งผลให้ซีซั่นใหม่ต้องไปเริ่มแข่งต้นปี 2021 แล้วทางคอมมิสชันเนอร์ อดัม ซิลเวอร์ เปรยว่าคงไม่สามารถพักลีกหนีทัวร์นาเมนต์กีฬาแห่งมวลมนุษยชาติได้ 

เหตุนี้เอง บราวน์ ซึ่งคาดว่าจะถูกทาบทามให้รับงานเฮดโค้ช หรือสตาฟฟ์ทีมใดสักแห่งอีกครั้ง ไม่สามารถเหยียบเรือสองแคมได้อีก จึงชิงลาออกจากการคุมทีม 'บูมเมอร์ส' 

https://twitter.com/BasketballAus/status/1315954434703126530

บราวน์ ไม่คุมบาสฯออสเตรเลียลุย อลป.แล้ว

"สหพันธ์บาสเกตบอล ออสเตรเลีย ผิดหวังที่ เบร็ตต์ ไม่สามารถดำรงตำแหน่งหัวหน้าโค้ชทีม 'บูมเมอร์ส' ได้ต่อไปเนื่องจาก โตเกียว โอลิมปิกส์ จัดการแข่งขันล่าช้า" แถลงการณ์ผ่านทวิตเตอร์บัญชี@BasketballAus 

"แต่ทางเราก็เข้าใจได้ว่าสถานการณ์ของ เบร็ตต์ และซาบซึ้งในความตรงไปตรงมาอย่างที่สุด เมื่อเขาแจ้งเรื่องขอลาออก" 

โค้ชวัย 59 ปี เคยคุมทีมชาติออสเตรเลียระหว่างปี 2009-2012 ในหนแรก ไฮไลท์ผลงานคือเข้าถึงรอบก่อนรองฯ ลอนดอน โอลิมปิก เกมส์ 2012