榮升政治局候補委員後，謝瓦爾德納澤在各加盟共和國黨中央第一書記群體中的政治地位脫穎而出，成為時任總書記勃列日涅夫極度偏愛的諸侯王。勃列日涅夫不僅沒有因他對格魯吉亞民族主義思潮讓步而惱怒，反而授予他更大的自主權。在謝瓦爾德納澤治下，格魯吉亞的知識界生活的比較輕鬆，保留着較多的思想自由。以至於蘇聯解體、格魯吉亞獨立之後，人們依然沒有忘記謝瓦爾德納澤在蘇聯時期為本民族謀取的特權，在1995年選舉他當總統。
謝瓦爾德納澤贏得勃列日涅夫這麼重大的信任，除其自身工作能力超強之外，還得益於其人切實做到了“領袖揮手我前進，領袖下令我緊跟”。在1976年的蘇共二十五大，謝瓦爾德納澤發言稱讚勃列日涅夫具有“高度內行、思路開闊和講究實效、富於人性和階級不調和性、奉公守法和原則性、善於洞察人的心靈”等品質。就是在這次大會，謝瓦爾德納澤當選中央委員。
謝瓦爾德納澤不僅在中央表現地十分忠誠，在共和國內部也表現地“與中央高度一致”。為維護出兵阿富汗的合法性，蘇共在1980年6月召開中央全會討論關於出兵阿富汗前後的一系列問題。謝瓦爾德納澤發言稱：“對阿富汗所採取的大膽的，唯一正確的，唯一英明的行動，都會被蘇聯人滿意地接受。”說完又繼續發表了一段對勃列日涅夫的肉麻吹捧。還是在6月，謝瓦爾德納澤在格魯吉亞共和國積極分子大會上說：“阿富汗人民的命運、我們南部邊境的命運令我們大家深為不安，我們每一個蘇聯人心裡都在期待對阿富汗採取這種勇敢的唯一正確的行動。”
到了戈爾巴喬夫時期，謝瓦爾德納澤帶頭抨擊出兵阿富汗的決策，並最終拋棄阿富汗紅色政權。
到了1981年的蘇共二十六大，謝瓦爾德納澤發言稱讚勃列日涅夫作的報告“體現了其作者、其提出者、我們英明的領導人、偉大的列寧式的革命者列昂尼德?伊里奇?勃列日涅夫的全部特性：科學深刻性、一往無前的目的性、無限的樂觀主義和現實主義、高瞻遠矚和階級原則性、對人類的熱愛、洞察性和真理的力量。他的報告是我國全體人民的思想和希望之所在”。
二十六大閉幕後，謝瓦爾德納澤回到格魯吉亞主持共和國積極分子會議，談了自己在黨代會上的感受：“列昂尼德?伊里奇?勃列日涅夫報告的每一個原則，每一個結論，他的每一個詞都表現出列寧的實事求是、列寧的堅定的目的性、對分析當代事物的真正的列寧的科學態度。列昂尼德?伊里奇?勃列日涅夫站在講台上，對每一個人是那麼友好，那麼親近。而且每一個人都看到，都全身心地體驗到了他在代表大會上所思考和所做的事。”
1981年，謝瓦爾德納澤榮獲社會主義勞動英雄“金質勳章”。
到了戈爾巴喬夫時期，謝瓦爾德納澤跟隨戈爾巴喬夫猛烈抨擊勃列日涅夫。有人問及他當年那些冠冕堂皇的話，“您什麼時候是真心實意的…是歌頌他的時候，還是現在，徹底號召改革的時候？”謝瓦爾德納澤回答：“我們對莫斯科不是俯首帖耳，我們只是想創造條件更好地為自己的人民服務。”
謝瓦爾德納澤的回答表明，他可以為了格魯吉亞的利益吹捧勃列日涅夫，也可以為了格魯吉亞的利益背叛勃列日涅夫。然而，面對新領袖，他會不會為了格魯吉亞的利益吹捧戈爾巴喬夫，又為了格魯吉亞的利益背叛戈爾巴喬夫呢？歷史將會證明。
在謝瓦爾德納澤治下，格魯吉亞成為蘇聯的“國中之國”。他在格魯吉亞的懷柔政策也帶來了負面後果。1983年11月18日，格魯吉亞發生一起劫機事件。一夥以持不同政見者運動為背景、由年輕的藝術工作者、演員和醫生組成的武裝團伙，劫持了一架飛往列寧格勒的民航飛機。這架飛機本來的航線是由格魯吉亞首都第比利斯飛往巴統，然後轉往基輔，最後飛至列寧格勒。在飛往巴統的途中，劫機者實施了武裝恐嚇，要求飛機飛往土耳其。
後來由於天氣原因，飛機返回了第比利斯。飛機一降落，克格勃特種部隊“阿爾法”分隊的士兵們立即展開營救。劫機者被擊斃一人，自殺一人，還有三人受傷。蘇聯解體後，在格魯吉亞首任總統茲維亞德?加姆薩胡爾季阿執政時期，劫機者的歷史評價發生變化，成為“爭取自由的戰士”。

謝瓦爾德納澤1928年出生，比戈爾巴喬夫年長3歲。兩人相識於1961年，當時，戈爾巴喬夫是斯塔夫羅波爾邊疆區團委第一書記，謝瓦爾德納澤是格魯吉亞共青團中央第一書記，都是屬於本行政區官員里的少壯派中的少壯派。斯塔夫羅波爾邊疆區與格魯吉亞共和國距離很近，僅間隔了高加索山脈。兩人既是鄰居，又同為後起之秀，早在共青團工作時期就結下了深厚的友誼。再後來，兩人成為了政治局裡的少壯派，謝瓦爾德納澤50歲當上政治局候補委員，戈爾巴喬夫48歲當上政治局候補委員。
1985年3月，戈爾巴喬夫上台。新領袖在各種不同場合多次提到反對個人崇拜，反對同志們對自己歌功頌德。謝瓦爾德納澤作為新領袖的老朋友，完全沒把領袖的話當回事。在1985年的七月全會上，謝瓦爾德納澤引述了一段美國《華盛頓郵報》對戈爾巴喬夫的讚揚和評論：“但是，我們，資本主義，又能因此得到些什麼呢？只能更糟。”謝瓦爾德納澤接着說：“我知道戈爾巴喬夫同志不喜歡別人讚揚他，可這不是我說的，是美國人說的呀。他們害怕社會主義有了一個強有力的領導人。”說完，全場一片笑聲。
就在這次中央全會上，謝瓦爾德納澤升任政治局委員。緊接着第二天，謝瓦爾德納澤在蘇聯最高蘇維埃會議上當選為蘇聯外交部長。葛羅米柯同時辭去部長會議第一副主席和外交部長職務，專任蘇聯最高蘇維埃主席團主席。
蘇聯解體後，戈爾巴喬夫在回憶自己的這項決定時寫道：“國內外對任命謝瓦爾德納澤的反應可說是極度困惑。許多人都表示難於理解，並且不同意將蘇維埃國家如此重要的職能託付給一個非俄羅斯人。但是老於世故的人們都猜出了戈爾巴喬夫的心思：‘既給予了葛羅米柯應有的評價，同時又使自己能夠在外交方面放開手腳，而將此事交由一個親密的戰友去主管。’”
1985年是葛羅米柯擔任外交部長的第28個年頭，他輔佐了赫魯曉夫、勃列日涅夫、安德羅波夫、契爾年科和戈爾巴喬夫五位領袖，親手將蘇聯外交政策由強硬轉向緩和，又從緩和轉向強硬，貫穿始終的，是葛羅米柯在外交活動中堅定不移的政治立場和剛柔並濟的談判技巧。對於國家利益問題，這是一位只能占便宜不能吃虧的主兒。
八十年代初的蘇美關係乏善可陳。1983年的庫頁島空難事件、北約新型中程導彈部署和1984年的洛杉磯奧運會被蘇聯集團抵制三件事加劇了兩國的緊張關係，連兩國最高級首腦“秘密熱線”都一度中斷。兩國政府都意識到改善關係的必要性，但始終沒有成功。1984年9月，葛羅米柯應邀訪問美國，雙方沒有達成任何協議和諒解。
論資歷，葛羅米柯是和安德羅波夫平起平坐的政治局委員。勃列日涅夫死後，在蘇聯外交領域，葛羅米柯基本上可以不請示政治局和領袖，單獨做決定。經過葛羅米柯和多勃雷寧的多方努力，1984年11月，美蘇兩國決定在1985年1月上旬啟動新一輪軍備控制談判。
1984年12月中旬，還是二號領袖的戈爾巴喬夫訪問英國，取得良好的國際影響，引起葛羅米柯的不滿與憤懣。初出茅廬的戈爾巴喬夫打破了葛羅米柯在國際舞台對蘇聯形象的壟斷型代表作用。當多勃雷寧把美國社會稱讚戈爾巴喬夫的輿論報告國內時，葛羅米柯對這位部下進行了批評。
1985年1月，葛羅米柯和美國國務卿舒爾茨在日內瓦舉行會談。舒爾茨在此次談判中表現得有點磨洋工。會談間隙，舒爾茨告訴葛羅米柯，即使戈爾巴喬夫尚未擔任總書記，如果他希望對美國進行工作訪問，他將受到里根和舒爾茨的接待。葛羅米柯聽完大為不悅，合計着，你們美國人找我談判也就走走過場，留着底牌等戈爾巴喬夫來訪問是吧？
葛羅米柯心裡對戈爾巴喬夫更加不滿了！
生氣歸生氣，葛羅米柯的大局觀還是很強的。1985年3月10日，契爾年科逝世，戈爾巴喬夫主動找到葛羅米柯，希望和他“共同努力”。3月11日，葛羅米柯帶頭提議戈爾巴喬夫接班，在形式上立下擁立新君之功！
那麼，問題來了。古今中外，幾個立下擁立之功的老臣能善終的？

1985年，美國總統里根正式開始他的第二任總統任期。因為無需再爭取連任，他的施政終於可以放開手腳。對於3月的蘇聯領導人變更，里根政府認為改變對蘇政策的時機已經來臨。除了在1985年1月暗示葛羅米柯邀請戈爾巴喬夫訪問美國外，里根政府以弔唁契爾年科為契機，派出副總統布什和國務卿舒爾茨赴莫斯科，與戈爾巴喬夫舉行會晤，力爭恢復最高級首腦會談。
會晤於3月13日舉行，戈爾巴喬夫與美國副總統布什展開會談，各自由葛羅米柯和舒爾茨陪同。會談持續了一個半小時，美國方面以全面改善美蘇關係作試探，戈爾巴喬夫表示感謝，沒有正面答覆。新領袖知道，這樣的大事需要政治局集體討論。戈爾巴喬夫把話題引向裁軍問題，試探美國“星球大戰計劃”的底細，也沒有得到具體的答覆。總的來說，雙方都表達了改善關係的良好願望，但都避免就具體問題表態。
時隔不久，美國方面率先示好，舒爾茨告訴多勃雷寧，希望在紐約和基輔互設領事館，先簽訂一些文化、交通、能源和環境領域的合作協議，以此在美國輿論中營造起美蘇緩和的氣氛。多勃雷寧回應道，蘇聯希望將控制陸地和太空軍備競賽內容納入預備會談議程。舒爾茨回答，先期解決這方面的問題希望比較渺茫。
在蘇聯內部，關於對美國的外交政策出現了巨大分歧，老一輩的政治局委員們認為，應當先取得談判成果，再舉行最高級首腦會談。戈爾巴喬夫認為，可以先舉行最高級首腦會談，達成諒解，顯示緩和的氣氛，即使沒有簽訂任何協議，也可以推動未來的談判。
政治局的老同志們堅持勃列日涅夫時期的傳統——集體討論、領袖決策、葛羅米柯談判，領袖在最高級首腦會談時簽字。這套程序看似民主，卻是建立在勃列日涅夫擁有絕對權威的基礎上。1985年戈爾巴喬夫尚未樹立足夠的個人權威，這就意味着葛羅米柯依舊主導蘇聯外交政策，其他老同志們可以圍繞在葛羅米柯身邊，左右外交政策走向。
1985年4月，多勃雷寧作為中央委員回國參加蘇共中央四月全會。會後，戈爾巴喬夫單獨召見多勃雷寧，了解美國的情況。談話中，新領袖向多勃雷寧袒露了自己的外交理念，不僅要實現蘇美兩國同時裁軍，還要實現蘇美兩國同時從歐洲撤軍。戈爾巴喬夫認為，不裁軍就無法改善國民經濟。而同時撤軍可以保持蘇軍在歐洲的優勢——美軍撤回國內後與歐洲間隔着大西洋，遇戰事再調兵很困難；蘇軍撤回國內仍在歐洲大陸，遇戰事可迅速出兵，打西方一個措手不及。最後，戈爾巴喬夫叮囑多勃雷寧，和美國人少扯意識形態問題，談妥現實問題就行，儘快恢復正常國家間的交往，為早日舉行最高級首腦會談做準備。
戈爾巴喬夫深知，外交部長葛羅米柯與中央書記兼蘇共中央國際部部長波諾馬廖夫不和。儘管波諾馬廖夫的思想比葛羅米柯還保守，戈爾巴喬夫仍然時不時地把一些外交問題交由波諾馬廖夫徵求意見，試圖打破葛羅米柯對外交問題的壟斷，以此暗示黨內高層：不要以為葛羅米柯有“擁立之功”，就可以肆無忌憚地大權獨攬，抵制新領袖的外交路線方針。當時的人們沒有意識到，戈爾巴喬夫已經準備換人了。
1985年5月14日，奧地利舉行戰後獨立30周年紀念活動，葛羅米柯和舒爾茨分別代表蘇聯和美國參加相關活動。雙方在維也納舉行了會談，都提出，要把最高級首腦會談地點選在本國，要求對方過來打客場。陷入僵持之際，戈爾巴喬夫電告葛羅米柯，建議美國選擇“中立的第三國”作為最高級首腦會談地點。
6月中旬，美國政府終於答應在11月19日至20日舉行最高級首腦會談，地點選在瑞士的日內瓦。美國政府同意就裁軍等一系列問題展開會談，並建議由兩國外長在7月下旬即將舉行的赫爾辛基歐洲安全與合作會議期間舉行單獨會談，為日內瓦最高級首腦做好充足準備。
雙方議定之後，里根和舒爾茨開始準備談判，戈爾巴喬夫和葛羅米柯也開始準備談判。戈爾巴喬夫在準備談判的同時，還準備了另一件事——罷免葛羅米柯的外交部長職務，由謝瓦爾德納澤接任。