Ljudje so pravili, da je bil James Joyce videti žalosten in utrujen, sam pa se je ob neki priložnosti opisal kot »ljubosumnega, samotarskega, nezadovoljnega in ponosnega moža«. Seveda je to storil zasebno, v pismu ženi Nori Barnacle, ki ji je zaupal bolj osebne in bolj drzne reči kot komur koli drugemu. Vendar zato še ne gre sklepati, da tega ni opravil hkrati tudi za poznejše generacije, saj je slednjim zaupal še veliko bolj izzivalne stvari.
Že od mladega je bil rahlo pompozen in samozadovoljen, osredotočen na to, kar bo napisal, in na svoje zgodnje (pozneje stalno) sovraštvo do Irske in Ircev. Že ko ni napisal še praktično ničesar, le nekaj pesmi, je brata Stanislausa vprašal: »Se ti ne zdi, da obstaja podobnost med mašno skrivnostjo in tem, kar skušam početi? Hočem reči, v svojih pesmih skušam ljudem ponuditi nekakšen intelektualni in duhovni užitek s tem, ko vsakodnevni kruh spreminjam v nekaj, kar ima samo na sebi večno umetniško življenje …, ki se kaže v duhovnem, moralnem in duševnem povzdignjenju.« Morda so bile njegove primerjave manj evharistične in sramežljive, ko ni bil več tako mlad, toda vedno je bil prepričan o izjemni pomembnosti svojega dela, celo takrat, ko to sploh še ni obstajalo. Zdi se, da je James Joyce eden tistih umetnikov, ki tako obilno prakticirajo držo genialnosti, da uspejo sodobnike in še več poznejših generacij prepričati, da so bili brez vsakršnega dvoma resnični geniji. V skladu s to držo je bil slaven, ker mu ni bilo mar, ali so ga brali ali ne, še manj ga je zanimalo mnenje njegovih bralcev; toda ko je po velikih težavah končno le izšel njegov Ulikses, je storil vse, kar je bilo v njegovi moči, da je pomagal pri njegovem razširjanju. Kar nekajkrat so ga videli, kako je zavijal kupljene izvode svoje knjige v knjigarni Shakespeare & Co., kjer je zahvaljujoč založniškemu programu in tiskarskim strojem ta nesmrtna knjiga vendarle izšla. Vemo tudi, da je željno pričakoval vsako omembo v tisku ali kritiko ter pošiljal besede hvaležnosti vsem, ki so skrbeli za njegov roman. Ko je veliko pozneje izšlo Finneganovo bdenje in doživelo hladen sprejem, je bil prizadet in nezadovoljen. Tako je preživel zadnji dve leti svojega življenja, kar ni ravno najbolj prijetno, še posebej, ker sta bili zadnji.
A v nasprotju s tem je skoraj vsa leta poprej užival v spoštovanju in občudovanju, ki so ga pred smrtjo dosegli le maloštevilni avtorji. V letih, ki jih je preživel v Parizu, so ga celo častili in se ga bali, nihče se ni upiral njegovim željam in navadam, med katerimi je bila na primer ta, da je vsak dan večerjal na istem mestu natanko ob devetih in da ni niti pokusil belega vina, naj je bilo še tako izvrstno. Menda mu je neki okulist zatrdil, da ta vrsta vina škodi vidu, Joyce pa je zelo pazil na svoje občutljive oči. Ker mu je pretil glavkom, je moral v življenju prestati enajst operacij in te so bile vzrok, da na nekaterih fotografijah na levem očesu nosi veliko in opazno prevezo. Morda je ravno zato Djuna Barnes v njih videla »bledico rastlin, ki so se dolgo skrivale pred soncem«. Preveze torej ni nosil, da bi ga opazili; Joyceu je zadostovalo njegovo genialno vedenje, ni se mu bilo treba oblačiti v lovca in ne tekati pred podivjanimi biki v Pamploni. Nasprotno, bil je vse prej kot ekstravaganten in pri večerji ali na družabnem dogodku je bila prava mora, če si sedel ob njem, vsaj za nekoga, ki je bil kolikor toliko zgovoren. Joyce namreč ob takšnih priložnostih sploh ni odprl ust, temveč je pričakoval, da ga bodo s kramljanjem zabavali drugi, medtem ko bo sam molčal in čakal v »udobni, absolutni tišini«, kot se je izrazil Ford Madox Ford. Vsi pri njegovi mizi so se trudili, da bi našli temo pogovora, ki bi ga utegnila zanimati, toda Mr. Joyce (tako so ga imenovali vsi z izjemo Djune Barnes), je odgovarjal le z »ja« ali »ne«. Za razliko od junakov njegovih romanov z bogatim notranjim dialogom je bil avtor vedno molčeč in zaničevalen, vsaj v družbi.
Zasebno je bil povsem drugačen, čeprav nič manj ohol. Tedaj je popival do zgodnjih jutranjih ur, bil je prijaznejši in bolj zgovoren, čeprav je v pogovorih prepogosto izpostavljal teološke teme, ki niso nikogar zanimale, ali pa je v zveneči italijanščini, kot kakšen duhovnik pred svojo čredo, recitiral dolge odlomke iz Danteja. Nekoč je v Brasserie Lutétia njegov sogovornik pri mizi dejal, da je videl podgano, ki je tekla po stopnicah navzdol, in Joyceov odziv ni bil ravno umirjen. »Kje, kje?« je vprašal vznemirjeno. »To prinaša smolo.« Joyce je bil poln vraževerja in nekaj trenutkov za tem, ko je izrekel te besede, se je od groze onesvestil. Vse odkar ga je v otroštvu hudo ugriznil irski terier, se je zelo bal tudi psov. Panično ga je bilo strah neviht, tako v mladosti kot v odrasli dobi, čeprav je to tedaj bolje skrival. Ko je bil majhen, ni zadoščalo zgolj zapiranje oken, zagrinjanje zaves in spuščanje rolet, na koncu se je vedno zaprl še v omaro. Zlobni jeziki pravijo, da si je, ko je odrasel, zatiskal ušesa in se obnašal kot strahopetec; njemu naklonjeni to zanikajo in priznavajo le, da je, če ga je nevihta ujela na ulici, začel viti roke, kriknil in se pognal v beg. /…/