Erbyn diwedd 1894, roedd Joseph wedi penderfynu troi am adref i Ddyffryn Aeron. Roedd wedi clywed am farwolaeth nifer o’i deulu dros y blynyddoedd, oedd wedi bod yn anodd iddo ag yntau mor bell i ffwrdd, a gan ei fod erbyn hynny yn ei 70au, roedd yn teimlo’n rhy hen i weithio.
Roedd bywyd swagman yn un anodd, ac roedd wedi gadael ei ôl arno. Doedd ei deulu prin yn ei adnabod pan ddaeth adref yn Ionawr 1895, ar ôl siwrne oedd wedi cymryd lawer llai na’r daith draw i Awstralia 25 mlynedd ynghynt, wrth i’r llong stêm hwylio drwy Gamlas Suez.
Ond er fod yr hiraeth a bywyd caled Awstralia wedi ei ddenu nôl adref, doedd hi ddim yn hawdd ail-gydio yn ei hen fywyd yn Nhregaron.
Er ei fod wedi bod ysgrifennu llythyrau atyn nhw yn gyson dros y blynyddoedd, roedd wedi colli adnabod ar ei blant, ac roedd tensiynau rhyngddo â’i wraig, Betty.
Roedd Joseph wedi llwyddo – ar y cyfan – i aros yn sobor pan oedd yn Awstralia, ond roedd y demtasiwn yn ormod unwaith iddo ddychwelyd adref i Gymru, ac aeth yn ôl i’w hen arferion.
Bu farw dair blynedd ar ôl dychwelyd, ym Medi 1898, a’i gladdu yn Llanwnnen.
