Az első vizsgálat a trónörökös házasságával kapcsolatban Nápolyból származott, amikor József csak tizenkét éves volt. Abban az időben a dél-olasz nápolyi és Szicíliai Királyságot a Bourbonok egyik mellékvonala uralta. A Habsburg-és Bourbon-dinasztiák egyesítésének terve volt a vonzereje. Ebben az esetben kettős házasságot javasoltak: a trón Osztrák örököse Nápolyi hercegnőt, a Nápolyi trónörököst feleségül vette, hogy az egyik Habsburg főhercegnő férje legyen., A bécsi reakció pozitív volt, de azt javasolták, hogy a tervek néhány évig várhatnak.
nem sokkal később, 1755-ben felmerült a Parma Izabellával (1741-1763) való egyesülés lehetősége. A javaslat Franciaországból érkezett, mivel az észak-olasz Parma Hercegséget a spanyol Bourbon-dinasztia fedezete uralta. Így a parmai Bourbonok csupán a Bourbonok egyik járulékos vonalának kadét ága voltak, maga a Parma pedig jelentéktelen kisebb állam volt. Azonban az anyja oldalán Isabella volt unokája Louis XV. Franciaország.,
ennek a javaslatnak konkrét politikai háttere volt. Mária Terézia uralkodásának diplomáciai érzéke, a régi “főellenségek” Franciaország és Ausztria szövetségesei lettek. Most az új szövetséget a két dinasztia közötti házasságok sorozata erősítette meg.
1759-ben a házassági terveket hivatalosan bejelentették. József és menyasszonya, Izabella ekkor már mindketten tizennyolc évesek voltak.
Nápolyban a reakció eredetileg az egyik támadás volt, de találtak egy módot a helyzet megszüntetésére., Maria Luisa Nápolyi hercegnőt Karl József főhercegnek ígérték, aki József után a következő legidősebb fiú, Toszkána feltételezett nagyhercege volt, ahol Habsburg-szecundió jött létre. Itt is a sorsnak más elképzelései voltak, mivel Karl Joseph 1761-ben csak tizenhat éves korában halt meg. Mária Lujza Mária Terézia következő fiának, Péter Lipót főhercegnek adományozta.,
az 1760-ban József és Izabella számára rendezett nászéjszaka pazar és költséges látványosság volt, amelyet a Monarchia töretlen erőforrásainak nyilvános bemutatására szántak, amely akkoriban ellenségeskedésekben vett részt (az esküvőre a hétéves háború alatt került sor). Az esküvő legendás pompájának benyomása a Schönbrunni híres festményciklusból nyerhető, amely részletes feljegyzést ad arról, hogy mi volt a barokk kor utolsó nagy ünnepe Bécsben.,
Józsefet elvarázsolta a menyasszonya, és mélyen beleszeretett a lányba, egy olyan vonzalomba, amely azonban nem tért vissza ugyanolyan mértékben. Isabella nagyon közel állt Marie Christine Főhercegnőhöz, a férje egyik nővéréhez. A két nő közötti folyamatos levelezés nagyon intim, talán még Leszbikus kapcsolatot is tanúsít.
Isabella éles eszű volt, magasan képzett, ami szokatlan volt a mai nők számára. Melankolikus volt, és úgy tűnik, depressziós volt, sőt a halál előérzetei kísértették.,
úgy érezte, hogy a feleség és az anya szerepét kinevezték kényszernek, és mindenekelőtt nem szerette, ha úgy látja, hogy “brood mare” – ként működik. József felesége a házasságuk három éve alatt ötször lett terhes. Ezek közül három terhesség vetéléssel végződött. Egyetlen túlélő gyermeküket, egy 1762-ben született lányukat nagyanyja után Mária Teréziának nevezték el. A további terhesség 1763-ban megszűnt, amikor Isabella himlővel szerződött., Egy lányt szült, aki közvetlenül a születés után halt meg, amelyet öt nappal később anyja követett, aki csak huszonkét éves volt. József számára ez súlyos csapás volt.
Joseph lánya, Mária Terézia 1770 – ben, nyolc éves korában hunyt el, apja mély gyászában, aki úgy tűnik, soha nem értett egyet egyetlen, sokat bálványozott gyermeke halálával.
József második házassága bajorországi Mária Josefa (1739-1767) volt, amelyet anyja ragaszkodásával kötött 1765-ben, miután Szent Római császár lett, nem volt szándékos katasztrófa., Maria Josefa leánya volt a bajor választófejedelem Karl Albrecht és főhercegnő Maria Amalie, leánya József császár I. mivel a bajor választófejedelem nem volt fia, ez a házasság része volt a rendszer Mária Terézia részéről, hogy végül igényt a Bajorország területén.
Maria Josefa fizikailag nem vonzó és meglehetősen lassú szellemű, de szeretetteljes és kedves is. Hiába próbálta megnyerni József szeretetét, de szisztematikusan figyelmen kívül hagyta. A házasság valószínűleg soha nem is teljesült., Korai halálával szabadult megalázó helyzetéből a bécsi udvarban. 1767-ben, amikor a himlőjárvány Mária Terézia családjának több tagját is elérte, Mária Josefa is megbetegedett, és férje nélkül halt meg.
most kétszer özvegy, József később ellenállt az anyja további házassági terveinek.
Ez azonban nem jelenti azt, hogy József szerzetesi absztinencia életét élte. Számtalan ügyben kielégítette testi étvágyát az alacsonyabb társadalmi rétegekből származó nőkkel, amelyek akkoriban közismertek voltak., Állítólag számos törvénytelen gyermeket született. A császár is ismert volt, hogy látogassa meg a prostituáltak de volt hírhedt, hogy szűkmarkú, amikor jött a kifizető a szolgáltatás, ahogyan még igazolt ma a következő felirat a bejárat a ház a Spittelberg Bécsben, majd egy negyed rossz híre, valamint a városközpont piroslámpás negyedében: ‘Durch nem Thor im Bogen, kam Kaiser Josef II. geflogen’ (‘József Császár II repült be ezt a boltív’).