关于他降级的原因，大家议论纷纷，可是始终猜不透。像那假伯爵夫人所说的，高老头是一个城府很深的家伙。一般头脑空空如也，并且因为只会胡扯而随便乱说的人，自有一套逻辑，认为不提自己私事的人绝没有什么好事。在他们眼中，那么体面的富商一变而为骗子，风流人物一变而为老混蛋了。一会儿，照那个时代搬入公寓的伏脱冷的说法，高老头是做交易所的，送完了自己的钱，还在那里靠公债做些小小的投机，这句话，在伏脱冷嘴里用的是有声有色的金融上的术语。一会儿，他是个起码赌鬼，天天晚上去碰运气，赢他十来个法郎。一会儿，他又是特务警察雇用的密探；但伏脱冷认为他还不够狡猾当这个差事，又有一说，高老头是个放印子钱的守财奴，再不然是一个追同号奖券的人。
总之，大家把他当作恶劣的嗜好，无耻，低能，所能产生的最神秘的人物。不过无论他的行为或恶劣的嗜好如何要不得，人家对他的敌意还不至于把他撵出门外：他从没欠过房饭钱。况且他也有他的用处，每个人快乐的或恶劣的心绪，都可用打趣或咕噜的方式借他来发泄。最近似而被众人一致认可的意见，是伏盖太太的那种说法。这个保养得那么好，一点毛病都没有，还能给一个女人许多快乐的人，据她说，实在是个古怪的好色鬼。伏盖寡妇的这种坏话，有下面的事实做根据。