家庭、社会地位的陡然降迁，就是一次创伤性的经历，再就是他不得不迁居到都柏林贫民区后耳濡目染到的可怕贫困现象。《都柏林人》这本书的故事氛围以及所描写的人物和场面，就是他这几年生活经历的艺术写照。10年间，乔伊斯一家搬迁至11次之多。这些经历给乔伊斯这样的敏感孩子，无疑带来了巨大的心灵痛苦，所以他在这种心境中创作的小说，不可避免地要带有阴郁、感伤的格调。作为作家的乔伊斯之所以始终生活在忧虑苦闷之中，盖出于乔伊斯在少年时期便处于忧虑苦闷之中。那么，怎样才能从自己生活的窘境中拾回点东西呢，唯一的途径就是写作。在乔伊斯看来，除此以外别无他择。

她的形象已永恒地进入了他的灵魂，无言打破了他神圣狂喜的宁静。她的明眸已经对他发出了召唤，他的灵魂在听到这召唤时禁不住欣喜若狂。生活吧，错误吧，堕落吧，胜利吧，在生活中重新创造生活。在他面前出现了一个野性的安琪儿。

乔伊斯对大学乃至整个都柏林采取了蔑视态度，从很大程度上来说，不妨将之视为在那段时期一个青年人性情乖戾的反映。垂暮之年，有人问他是否找到了替代宗教的东西，他回答说，“夫人，我说过我失去了信仰，但这不等于我丢掉了灵魂。”

临别时，乔伊斯告诉叶芝自己20岁，并问叶芝多大，叶芝说出了自己的年龄，但隐瞒了一岁。乔伊斯闻后长喟道，“我想也差不多，真是相见恨晚，你太老了。”

1902年12月1日，他离开都柏林。12月23日，返回。这次伟大的冒险行动就这样迅速而拙劣地结束了。

母亲死了，可能肝癌，乔伊斯将之归因于父亲。父亲可能患过梅毒，他的儿子知道此事，并把它与家庭的败落、母亲的死亡甚至他自己视力衰退等联系在一起。乔伊斯决心与他的家庭决裂，就像他与天主教决裂一样。

母亲死后的时间，他成了孤魂野鬼，除了狂读、游荡、找朋友外，就是酗酒。在他钻研过的书中，有一本《人的个性及其在肉体死后的生存》，时间为1903年10月。一个不幸的冬天。他能从这本书难以理解的书中得到什么感情或理智上的奇特安慰呢？长期以来，他在这个问题上一直不同意教会的传统说法，认为——艺术能够给自己的个性提供一种截然不同的生存方式。

《尤利西斯》暗示：如果人性中还有什么可剩下的话，那就是爱和同情。这便是乔伊斯在这段时间领悟到的情感。

乔伊斯从自己亲身经历积累创作素材的方法，经常使得他的读者对这些素材的含义或者何以运用这些素材的原因难以完全理解。但他始终未中断地发展着这一方法。

1904年6月的那一天，他要寻找的一条不但能够实现他艺术理想，而且也能满足他感情需要的生活之路，即一条把肉体的需要与内心的需要融为一体的道路。当时他认识的人不理睬他，妓女又为他所不齿，朋友们背叛了他（他乐于这样认为），所以，他可以说是孑然一身地走着自己的生活之路。