本書講述年輕的赫斯特·普林與丈夫羅杰·奇林沃思婚后并無感情，她先于丈夫來到新英格蘭，在異國他鄉(xiāng)獨(dú)自生活，丈夫則杳無音信。赫斯特與牧師阿瑟·丁梅斯代爾相戀，生下女兒珀爾。赫斯特被治安官判處通奸罪(adultery)，她的胸前須佩戴猩紅色字母A以示懲罰，但她始終沒有說出孩子生父的名字，而是與孩子一起過著離群索居的生活。奇林沃思來到波士頓后成為醫(yī)生，與丁梅斯代爾成為好友，并發(fā)現(xiàn)了他的秘密，于是日復(fù)一日對牧師進(jìn)行精神折磨，因復(fù)仇而變得殘忍兇狠。隨著珀爾一天天長大，懦弱的丁梅斯代爾愈加自責(zé)與痛苦，他決定與赫斯特離開新英格蘭，開始新的生活。不料奇林沃思陰魂不散，最終牧師站出來將真相公之于眾，死在赫斯特懷中。