जम्मू शहर ऐतिहासिक नगर है और पूर्व जम्मू प्रांत की राजधानी रह चुका है और बाद में भी भारत के जम्मू एवं कश्मीर राज्य की शीतकालीन राजधानी रह चुका है। राय जम्बुलोचन राजा बाहुलोचन का छोटा भाई था। (१८४६–१९५२) में बाहुलोचन ने तवी नदी के तट पर बाहु किला बनवाया था और जम्बुलोचन ने जम्बुपुरा नगर बसवाया था। नगर के नाम का उल्लेख महाभारत में भी मिलता है। जम्मू शहर से 32 किलोमीटर (20 मील) दूरस्थ अखनूर में पुरातात्त्विक खुदाई के बाद इस जम्मू नगर के हड़प्पा सभ्यता के एक भाग होने के साक्ष्य भी मिले हैं। जम्मू में मौर्य, कुशाण, कुशानशाह और गुप्त वंश काल के अवशेष भी प्राप्त हुए हैं। ४८० ई. के बाद इस क्षेत्र पर एफ्थलाइटिस का अधिकार हो गया था और यहां कपीस और काबुल से भी शासन हुआ था। इनके उत्तराधिकारी कुशानो-हेफ्थालाइट वंशहुए जिनका अधिकार ५६५ से ६७० ई. तक रहा। तदोपरांत ६७० ई. से लेकर ११वीं शताब्दी केआरंभ तक शाही राजवंश का राज रहा जिसे ग़ज़्नवी के अधीनस्थों ने छीन लिया।
जम्मू का उल्लेख तैमूर के विजय अभियानों के अभिलेखों में भी मिलता है। इस क्षेत्र ने सिखों एवं मुगलों के आक्रमणों के साथ एक बार फिर से शक्ति-परिवर्तन देखा और अन्ततः ब्रिटिश राज का नियंत्रण हो गया। यहां ८४० ई. से १८६० ई. तक देव वंश का शासन भी रहा था। तब नगर अन्य भारतीय नगरों से अलग-थलग पड़ गया और उनसे पिछड़ गया था। उसके उपरांत डोगरा शासक आये और जम्मू शहर को अपनी खोई हुई आभा व शान वापस मिली। उन्होंने यहां बड़े बड़े मन्दिरों व तीर्थों का निर्माण किया व पुराने स्थानों का जीर्णोद्धार करवाया, साथ ही कई शैक्षिक संस्थाण भी बनवाये। उस काल में नगर ने काफ़ी उन्नति की। १८९७ में एक ४३ कि.मी लम्बी रेल लाइन द्वारा जम्मू को सियालकोट से जोड़ा गया था, किन्तु १९४७ में भारत के विभाजन के बाद यह रेल लाइन बंद कर दी गयी क्योंकि सियालकोट से आवाजाही की कड़ी ही टूट गयी थी। उसके बाद जम्मू शहर में १९७१ तक कोई रेल सेवा नहीं थी। तभी भारतीय रेल ने पठानकोट-जम्मू तवी ब्रॉड गेज रेल लाइन डाली और अन्ततः १९७५ में एक बार फ़िरसे नये जम्मू-तवी रेलवे स्टेशन के साथ जम्मू शेष भारत से रेल द्वारा जुड़ गया। वर्ष २००० में पुराने रेलवे स्टेशन का अधिकांश भाग ध्वस्त कर वहां एक कला केन्द्र बनाया गया।