뉴잉글랜드의 어느 도시 형무소근처 교수대위에 생후 3개월이 된 아기를 안고 있는 젊은 여자가 앞가슴에는 예쁘게 수놓은 주홍색 A라는 글씨가 선명한 옷을 입고 있었다. A는 간통(adultery)의 첫 글자이다.
그녀의 이름은 헤스터 프린이었다. 그녀는 자기보다 나이가 훨씬 많은 연상의 학자와 결혼했고 남편보다 먼저 미국 땅에 건너왔다. 헤스터프린의 뒤를 따라 곧 오기로 되어 있는 남편은 아무리 기다려도 모습을 나타내지 않았고 소식도 끊어지고 말았다. 사람들은 그가 틀림없이 죽었다고 했다.
그 무렵 오랜 세월 동안 행방불명되었던 헤스터의 남편이 나타났다. 그 는 헤스터와 간통한 사나이에 대해 복수할 결심을 하고 로저 칠링워드라는 의사로 신분을 바꾸고 도시로 들어왔다.
헤스터는 교외의 초가집에서 삯바느질로 생계를 이어가고 그녀의 딸 펄은 친구도 없이 자유분방하게 자라나고 있었다. 또한 옥스퍼드 출신의 수재인 딤즈데일 목사는 엄격한 고행으로 쇠약한 상태에 빠져 건강 상담역인 칠링워드와 공동 생활을 하게 되고 의사는 어느 날 딤즈데일의 가슴에서 주홍 글씨를 목격하게 된다. 7년이 지난 오월의 밤, 딤즈데일은 밤일에서 돌아오는 헤스터 모녀와 셋이서 교수대 위에 서자고 한다.