Den første henvendelsen i forbindelse med kronprins ekteskap kom fra Napoli da Joseph var bare tolv år gammel. På den tiden den sørlige italienske kongeriket Napoli og Sicilia ble styrt av en utilsiktet linje av Bourbon. Ordningen med å alliere seg Habsburg og Bourbon dynastiene hadde sine attraksjoner. I dette tilfellet en dobbel ekteskap ble foreslått: den Østerrikske tronarvingen var å gifte seg med en Napolitansk prinsesse, og den Napolitanske kronprins å bli ektemannen til en av Habsburg archduchesses., Reaksjonen i Wien var positivt, men det ble foreslått at planene kunne vente i et par år.
Kort tid etterpå, i 1755, utsiktene til en union med Isabella av Parma (1741-1763) oppsto. Forslaget kom fra Frankrike, som den nordlige italienske hertugdømmet Parma ble styrt av en utilsiktet linje av den spanske Bourbon-dynastiet. Dermed Bourbon i Parma bare var en kadett filial av sikkerhet linje av Bourbon, og Parma i seg selv var en uviktig mindre stat. Imidlertid, på sin mors side Isabella var et barnebarn av Ludvig XV av Frankrike.,
Dette forslaget hadde en konkret politisk bakgrunn. I løpet av renversement des allianser, diplomatisk følelse av Maria Theresa ‘s regjeringstid, den gamle «erke-fiender’, Frankrike og Østerrike hadde blitt allierte. Nå er den nye alliansen var å være sementert med en serie av ekteskap mellom de to dynastiene.
I 1759 ekteskapet planene ble annonsert offisielt. Joseph og hans brud Isabella begge var atten år gammel på dette punktet.
reaksjonen i Napoli var i utgangspunktet en av krenkelse, men en måte ble funnet til å ufarliggjøre situasjonen., Den Napolitanske prinsesse Maria Luisa ble lovet til Erkehertug Karl Joseph, hvem som nest eldste sønn etter at Josef var den presumptive storhertug av Toscana, hvor en Habsburg-secundogeniture var å bli etablert. Også her skjebnen hadde andre ideer, som Karl Josef døydde i 1761 i en alder av bare seksten. Maria Luisa ble behørig overlevert til Maria Theresa ‘ s neste sønn, Erkehertug Peter Leopold.,
bryllups feiringen for Joseph og Isabella i 1760 var en flott og kostbart skuespill som var ment som en offentlig visning av uforminsket ressurser av Monarkiet, som på den tiden var involvert i krigshandlinger (bryllupet fant sted under syvårskrigen). Et inntrykk av den legendariske pomp av dette bryllupet kan være fått fra den berømte syklus av malerier på Schönbrunn som gir en detaljert registrering av det som skulle bli den siste store feiringen av Barokk alder i Wien.,
Joseph ble sjarmert av hans brud og falt dypt forelsket i henne, en hengivenhet som var imidlertid ikke tilbake til den samme grad. Isabella vokste svært nær Archduchess Marie Christine, en av hennes mann er søstre. Den bevarte korrespondansen mellom de to kvinnene vitner til en svært intim, kanskje til og med lesbisk forhold.
Isabella hadde et skarpt intellekt og var høyt utdannet, noe som var uvanlig for kvinner på dagen hennes. Hun var av en melankolsk disposisjon, og ser ut til å ha vært plaget med depresjon, og selv hjemsøkt av forutanelser av død.,
Hun følte seg rollen som hustru og mor, hun hadde vært tildelt som et pålegg, og fremfor alt mislikte å se seg selv redusert til sin funksjon som en «stamfisk mare’. Josephs kone ble gravid fem ganger i løpet av de tre årene av sitt ekteskap. Tre av disse svangerskap som endte i spontanaborter. Deres eneste gjenlevende barn, en datter født i 1762, ble kåret Maria Theresia etter sin bestemor. En ytterligere graviditet i 1763 var imperilled når Isabella avtalte kopper., Hun fødte en jente som døde rett etter fødselen, for å bli etterfulgt av fem dager senere av sin mor, som var bare tjue-to. For Joseph dette var et hardt slag.
Joseph ‘ s datter Maria Theresia døde i 1770 i en alder av åtte, dypt sørget av hennes far, som ser ut til aldri å ha kommet til enighet med døden til sin eneste og mye dyrket barn.
Joseph ‘ s andre ekteskap, med Maria Josefa av Bayern (1739-1767), som han kom inn på oppfordring fra sin mor i 1765 etter at han hadde blitt Hellige Romerske Keiseren, var en rendyrket katastrofe., Maria Josefa var datter av den Bayerske kurfyrst Karl Albrecht og Archduchess Maria Amalie, en datter av Keiser Joseph I. Som den Bayerske kurfyrsten hadde ingen sønner, dette ekteskapet var en del av en plan om Maria Theresa er en del å til slutt legge beslag på territoriet til Bayern.
Maria Josefa er beskrevet som fysisk skjemmende og heller slow-witted men også hengiven og søt-herdet. Hun forsøkte forgjeves å vinne Joseph ‘ s følelser, men ble systematisk ignorert av ham. Ekteskapet var sannsynligvis aldri fullbyrdet., Hun ble løslatt fra sin ydmykende posisjon i Wien-domstolen av hennes tidlige død. I 1767, når en kopper-epidemien rammet mange medlemmer av Maria Theresa ‘ s familie, Maria Josefa også ble smittet av sykdom og døde upåaktet hen av hennes mann.
Nå to ganger enke, Joseph senere motstått ytterligere ekteskap planer laget av hans mor.
Likevel, dette betyr ikke at Josef levde et liv i kloster avholdenhet. Han fornøyd hans kjødelige lyster i utallige affærer med kvinner fra lavere sosiale lag som var felles kunnskap på den tiden., Han er antatt å ha far til mange barn utenfor ekteskap. Keiseren var også kjent for å gå prostituerte, men var beryktet for å være tight-fisted når det kom til å betale for deres tjenester, som fortsatt er attestert i dag av følgende inskripsjon på inngangen til et hus på Spittelberg i Wien, så en fjerdedel av dårlig vandel og sentrum av byens red light-district: ‘Durch dieses Thor im Bogen, kam Keiser Josef II. geflogen’ (‘Keiser Joseph II kom flygende gjennom denne døråpningen’).