흐루시초프는 1964년에 브레즈네프가 주동한 정치국 위원들의 쿠데타에 의해서 권좌에서 물러났다. 그는 10년간 소련을 이끌면서 대외적으로는 모험적인 정책을 많이 폈다. 베를린 장벽을 쌓아올린 것도 그였고, 미국의 목 밑인 쿠바에 핵 미사일을 배치했다가 케네디 대통령의 반격을 받고서는 핵전쟁 일보 직전에 미사일을 철수하는 치명적인 양보를 했다. 흐루시초프는 예측이 불가능한 짓을 하는 사람처럼 비쳐지기도 했다. 흐루시초프를 몰아낸 브레즈네프는 그 뒤 약20년간 공산당의 기득권 세력을 보호하는 수구적인 정책만 펴다가 소련을 내부로부터 병들게 했다. 브레즈네프는 스탈린 시대로 돌아가지는 못했으나 개혁도 하지 않았다. 소련의 붕괴를 가져온 것은, 브레즈네프의 反흐루시초프 노선이었다.

모스크바 교외의 저택에서 사실상 연금생활을 보낸 흐루시초프는 1964년에서 그가 사망한 71년까지 생애 최후의 투쟁을 계속했다. 이 점이 그의 인간적 위대성이란 느낌이 든다. 독재자는 권력을 놓치면 죽임을 당하든지 입을 닫고 죽은 듯이 살아야 하는데 그는 비밀리에 회고록을 써 敵國인 미국으로 밀반출시켜 그곳에서 출판하도록 했던 것이다. 70대의 이 사람을 在野투사로 만든 동력은 '진실을 증언하고자 함'이었다.

소련 공산당은 그가 녹음기를 앞에 두고 회고록을 구술하고 있다는 사실을 알고 여러번 협박, 도청, 수색하였으나 그는 굴하지 않았다.

한때 흐루시초프의 부하였던 정치국 위원 키리렌코와 당의 규율위원회 위원장 펠세는 그를 불러 따졌다.
'당과 국가의 역사를 해석하는 것은 중앙위원회의 일이지 개인이 할 일이 아니다. 작업을 중단하고 원고를 넘겨라.'
'회고록은 역사가 아니다. 개인의 관점일 뿐이다. 당신들의 요구는 헌법이 규정한 시민의 권리를 침해하고 있다. 마음대로 해봐라. 내 연금, 아파트, 별장을 뺏아가려면 그렇게 해봐라. 나는 그래도 먹고 살 수 있다. 나는 금속기술자로 돌아가 일할 수도 있다. 아직도 내 기술을 잊어버리지 않았다. 나는 배낭을 지고 구걸하면서 먹고살 자신도 있다. 사람들은 내가 필요한 것을 줄 것이지만 당신들은 굶어죽을 것이다.'

인생의 밑바닥에서 自手成家해서 출세한 흐루시초프는 인민들이 자신의 편임을 알고 있었다. 다시 그 바닥으로 돌아갈 각오가 되어 있다는 70대 노인의 오기에서 우리는 1956년의 스탈린 격하 연설이 그의 인감됨을 반영한 것임을 알게 된다. 그의 용기는 바닥체험에서 우러난 것이었다.

흐루시초프는 회고록 원고가 압수될 것을 두려워하던 중 정치범 출신인 빅토로 루이스(그는 영국 런던 이브닝 스탠다드의 모스크바 특파원으로 일하고 있었다)를 통해서 미국의 주간지 타임誌와 연결되었다. 흐루시초프는 이 원고를 타임지로 밀반출하기 시작했다. 이 원고를 편집하고 확인하는 일을 했던 사람이 클린턴 정부 시절 미 국무부 차관도 지냈던 당시 타임지 기자 스트로브 탈보트였다.

미국의 출판사측에선 자신들에게 넘겨진 원고가 흐루시초프 것이며 출판을 허가했다는 증거를 만들기 위해서 중계자를 통해 흐루시초프에게 모자를 선물했다. 흐루시초프는 그 모자를 쓰고 사진을 찍어 보내주었다. 1970년 가을 흐루시초프의 회고록이 서양에서 출판될 것이란 사실이 공개되었다. 소련 공산당은 그를 호출하여 신문했다. 흐루시초프는 자신이 원고를 밀반출시키거나 출판을 허가해주지 않았다고 진술했다. 소련 공산당도 그 책이 조작이라고 주장할 수 있는 근거를 만든 데 만족하고 더 이상의 제재는 가하지 않았다
.

이 자리에서 소련 공산당 당규위원회 위원장 펠페는 흐루시초프의 행태를 스탈린식이라고 몰아붙였다. 이에 대해서 그는 이렇게 반박했다고 한다.
'그렇다. 우리는 모두 스탈린이란 전염병에 걸렸었다. 나는 스스로의 힘으로 치유했으나 당신은 아직 그대로야.'

'나를 잡아 가두어, 나를 쏴버려. 드골이 죽었다는 뉴스를 오늘 라디오로 들었는데 그가 부럽다. 나는 정직한 사람으로 죽고싶다. 나는 십자가에 매달려 죽고싶다. 망치와 못을 가져오라!'

이 무렵 흐루시초프는, 한 극작가가 일생에서 무엇이 가장 후회스러운가라고 묻자 이렇게 대답했다고 한다.
'무엇보다도 많은 피를 흘리게 한 것이지! 나의 팔꿈치까지 피가 묻어 있단다. 이것이 나의 영혼에 남아 있는 가장 끔직한 기억이야.'