随着衰老，老年人的记忆是逐渐衰退的，这种与衰老有关的生理性记忆下降叫做老年良性健忘。老年良性健忘发展得很慢，忘记的内容也不是全面的，经过提醒还可以想起来。而老年痴呆的记忆下降会越来越严重，而且往往是把一件事忘得精光，别人提醒也不能回忆起来。

老年痴呆的早期表现除了记忆力减退之外，还常常伴有算不清账、说话颠三倒四或词不达意、在熟悉的地方迷路、原来拿手的事情也做不好，还可能有性格的改变或奇怪的行为。

还有相当一部分老人自我感觉的记忆力下降是因为情绪障碍，例如焦虑、抑郁、恐惧等等不良情绪都可以使老人记住事情力不从心。这种情感障碍导致的记忆下降并不是真的“痴呆”，它伴随着情绪的波动而变化，等不良情绪消除之后记忆力自然就恢复了。

除了大脑之外，很多躯体器官的疾病也可导致记忆减退、甚至痴呆，包括甲状腺功能低下、心肺肾功能衰竭、慢性酒精或药物中毒、营养不良、贫血等 。这种躯体疾病导致的记忆下降是可以随着躯体疾病的治愈而好转的。