关于“白石道人”这一自号的来历，还有段故事：姜夔平素为人清高，荦荦不羁。曾与抗金主战的大臣名将张浚之孙张鉴结为至交，并长期得其资助。张鉴死后，姜夔生计日绌，但仍清贫自守，不肯屈节以求禄。晚年多旅食杭嘉湖之间。
当寓居武康时，他的住处曾与白石洞天为邻。有位名叫潘转翁的人打趣地叫他“白石道人”。姜夔一笑，答以诗云：“南山仙人何所食，夜夜山中煮白石，世人唤作白石仙，一生费齿不费钱。”在饱经颠沛转徙的困顾生活后，姜白石病卒于临安(今杭州)水磨方氏馆旅邸。幸得友人捐助，始获就近安葬。
二十九、念桥边红药，年年知为谁生
淳熙丙申至日，予过维扬，夜雪初霁，荠麦弥望。入其城，则四顾萧条，寒水自碧。暮色渐起，戍角悲吟。予怀怆然，感慨今昔，因自度此曲。千岩老人以为有《黍离》之悲也。
淮左名都，竹西佳处，解鞍少驻初程。过春风十里，尽荠麦青青。自胡马窥江去后，废池乔木，犹厌言兵。渐黄昏，清角吹寒，都在空城。
杜郎俊赏，算而今，重到须惊。纵豆蔻词工，青楼梦好，难赋深情。二十四桥仍在，波心荡、冷月无声。念桥边红药，年年知为谁生。
——《扬州慢》
在姜白石清韵高洁的名士风度外表下，其实有一颗敏感、痴情的心，是一位“情圣”级的性情中人。