انطلق جو هارت كلاعب ناشئ في فريق شروزبوري تاون الإنجليزي قبل أن يتم تصعيده رسميًّا في 2003 إلى الفريق الأول، حيث استمر لـ 3 مواسم شارك خلالها في 54 مباراة.

أداء "جو" الرائع مع فريقه جعل منه حارسًا لمنتخب إنجلترا للشباب تحت 19 سنة في هذا التوقيت، وهو ما كان يُنبئ بأنه حارس ذو مستقبل مشرق، مما دفع مانشستر سيتي للتعاقد معه رسميًّا، ومن السيتي قضى فترات متقطعة على سبيل الإعارة في أندية ترانمير روفرز وبلاكبول وبيرمنجهام سيتي، قبل أن يتألق مع الأخير ويعود للسيتي من جديد. بعدما تألق هارت مع بيرمنجهام، قرر مدرب مانشستر سيتي "روبيرتو مانشيني" الاعتماد عليه كلاعب أساسي على حساب المخضرم شاي جيفن، وكان عند حسن الظن، فقد تم اختياره خلال هذا الموسم كأفضل حارس مرمى في الدوري الإنجليزي الممتاز، فضلًا عن تمثيله للمنتخب الإنجليزي في كأس العالم الماضية بعد تألقه بقميص بيرمنجهام سيتي، واعتماد مدرب المنتخب فابيو كابيلو عليه كحارس مرمى أساسي فيما بعد كأس العالم عقب تألقه مع السيتي..