pierwsze zapytanie dotyczące małżeństwa następcy tronu przyszło z Neapolu, gdy Józef miał zaledwie dwanaście lat. W tym czasie Południowe włoskie Królestwo Neapolu i Sycylii było rządzone przez linię bourbonów. Plan zjednoczenia dynastii Habsburgów i Burbonów miał swoje atuty. W tym przypadku zaproponowano podwójne małżeństwo: austriacki następca tronu miał poślubić Neapolitańską księżniczkę, a neapolitański następca tronu zostać mężem jednej z arcyksiężniczek Habsburgów., Reakcja w Wiedniu była pozytywna, ale sugerowano, że plany mogą poczekać kilka lat.
niedługo potem, w 1755 roku, pojawiła się perspektywa Unii z Izabelą parmeńską (1741-1763). Propozycja pochodziła z Francji, ponieważ Północne włoskie Księstwo Parmy było rządzone przez linię bourbonów hiszpańskich. Tak więc Burboni w Parmie byli tylko kadetową gałęzią podrzędnej linii Burbonów, a sama Parma była nieistotnym Państwem podrzędnym. Jednak ze strony matki Izabela była wnuczką Ludwika XV.,
propozycja ta miała konkretne podłoże polityczne. W czasie renversement des alliances, dyplomatycznej sensacji panowania Marii Teresy, dawna „arcykapłańska” Francja i Austria stały się sojusznikami. Teraz nowy sojusz miał być scementowany przez serię małżeństw między dwiema dynastiami.
w 1759 roku oficjalnie ogłoszono plany małżeństwa. Józef i jego żona Izabela mieli wówczas osiemnaście lat.
reakcja w Neapolu początkowo miała charakter afrontu, ale znaleziono sposób na rozbrojenie sytuacji., Neapolitańska księżniczka Maria Luisa została obiecana Arcyksiężnikowi Karolowi Józefowi, który jako kolejny najstarszy syn po Józefie był domniemanym Wielkim Księciem Toskanii, gdzie miała zostać ustanowiona secundogenitura Habsburgów. Tutaj też los miał inne pomysły, ponieważ Karl Joseph zmarł w 1761 roku w wieku zaledwie szesnastu lat. Maria Luisa została przekazana kolejnemu synowi Marii Teresy, Arcyksiężnikowi Piotrowi Leopoldowi.,
uroczystości zaślubin Józefa i Izabeli w 1760 roku były wystawnym i kosztownym widowiskiem, które miało służyć jako publiczne pokazanie niezniszczalnych zasobów monarchii, która w tym czasie była zaangażowana w działania wojenne (ślub odbył się podczas wojny siedmioletniej). Wrażenie legendarnego przepychu tego wesela można czerpać ze słynnego cyklu obrazów w Schönbrunn, które stanowią szczegółowy zapis ostatniego wielkiego święta baroku w Wiedniu.,
Józef był oczarowany swoją oblubienicą i zakochał się w niej głęboko, uczucie, które jednak nie zostało zwrócone w tym samym stopniu. Isabella dorastała bardzo blisko arcyksiężnej Marii Christine, jednej z sióstr męża. Utrzymująca się korespondencja między obiema kobietami świadczy o bardzo intymnym, być może nawet lesbijskim związku.
Isabella miała bystry intelekt i była wysoko wykształcona, co było niezwykłe dla kobiet jej czasów. Miała melancholijne usposobienie i wydawała się być dotknięta depresją, a nawet nawiedzana przez przeczucia śmierci.,
czuła, że rola żony i matki została jej przypisana jako narzucanie, a przede wszystkim nie lubiła widzieć siebie zredukowaną do funkcji „klaczy potomstwa”. Żona Józefa w ciągu trzech lat małżeństwa pięciokrotnie zaszła w ciążę. Trzy z tych ciąż zakończyły się poronieniami. Ich jedyne ocalałe dziecko, córka urodzona w 1762 roku, otrzymała imię Maria Teresa po swojej babce. Kolejna ciąża w 1763 roku była zagrożona, gdy Izabela zachorowała na ospę., Urodziła dziewczynkę, która zmarła zaraz po porodzie, a pięć dni później jej matka, która miała zaledwie dwadzieścia dwa lata. Dla Józefa był to ciężki cios.
córka Józefa Maria Teresa zmarła w 1770 roku w wieku ośmiu lat, głęboko opłakana przez ojca, który wydaje się nigdy nie pogodzić się ze śmiercią jego jedynego i wielce ubóstwianego dziecka.
drugie małżeństwo Józefa z Marią Józefą bawarską (1739-1767), które zawarł za namową matki w 1765 roku po tym, jak został świętym cesarzem rzymskim, było całkowitą katastrofą., Maria Józefa była córką elektora Bawarskiego Karola Albrechta i Arcyksiężniczki Marii Amalii, córki cesarza Józefa I. ponieważ Elektor Bawarski nie miał synów, małżeństwo to było częścią planu ze strony Marii Teresy, aby ostatecznie objąć ziemie Bawarii.
Maria Josefa jest opisywana jako fizycznie nieatrakcyjna i raczej powolna, ale także uczuciowa i słodko temperamentna. Bezskutecznie próbowała zdobyć uczucia Józefa, ale była przez niego systematycznie ignorowana. Małżeństwo prawdopodobnie nigdy nie zostało skonsumowane., Została zwolniona z upokarzającego stanowiska na dworze wiedeńskim po przedwczesnej śmierci. W 1767 roku, kiedy epidemia ospy dotknęła wielu członków rodziny Marii Teresy, Maria Josefa również zachorowała na tę chorobę i zmarła nieprzytomna przez męża.
teraz dwukrotnie owdowiały, Józef oparł się kolejnym planom małżeńskim, jakie poczyniła jego matka.
nie oznacza to jednak, że Józef prowadził życie monastycznej abstynencji. Zaspokajał swoje cielesne apetyty w niezliczonych romansach z kobietami z niższych warstw społecznych, które były powszechnie znane w tym czasie., Przypuszcza się, że spłodził liczne nieślubne dzieci. Cesarz był również znany z odwiedzania prostytutek, ale był znany z tego, że był zwarty, jeśli chodzi o płacenie za ich usługi, o czym do dziś świadczy następujący napis na wejściu do domu na Spittelbergu w Wiedniu, wówczas jednej czwartej o złej reputacji i centrum dzielnicy czerwonych latarni: „Durch dieses Thor im Bogen, kam Kaiser Josef II. geflogen” („cesarz Józef II przeleciał przez tę bramę”).