荣升政治局候补委员后，谢瓦尔德纳泽在各加盟共和国党中央第一书记群体中的政治地位脱颖而出，成为时任总书记勃列日涅夫极度偏爱的诸侯王。勃列日涅夫不仅没有因他对格鲁吉亚民族主义思潮让步而恼怒，反而授予他更大的自主权。在谢瓦尔德纳泽治下，格鲁吉亚的知识界生活的比较轻松，保留着较多的思想自由。以至于苏联解体、格鲁吉亚独立之后，人们依然没有忘记谢瓦尔德纳泽在苏联时期为本民族谋取的特权，在1995年选举他当总统。
谢瓦尔德纳泽赢得勃列日涅夫这么重大的信任，除其自身工作能力超强之外，还得益于其人切实做到了“领袖挥手我前进，领袖下令我紧跟”。在1976年的苏共二十五大，谢瓦尔德纳泽发言称赞勃列日涅夫具有“高度内行、思路开阔和讲究实效、富于人性和阶级不调和性、奉公守法和原则性、善于洞察人的心灵”等品质。就是在这次大会，谢瓦尔德纳泽当选中央委员。
谢瓦尔德纳泽不仅在中央表现地十分忠诚，在共和国内部也表现地“与中央高度一致”。为维护出兵阿富汗的合法性，苏共在1980年6月召开中央全会讨论关于出兵阿富汗前后的一系列问题。谢瓦尔德纳泽发言称：“对阿富汗所采取的大胆的，唯一正确的，唯一英明的行动，都会被苏联人满意地接受。”说完又继续发表了一段对勃列日涅夫的肉麻吹捧。还是在6月，谢瓦尔德纳泽在格鲁吉亚共和国积极分子大会上说：“阿富汗人民的命运、我们南部边境的命运令我们大家深为不安，我们每一个苏联人心里都在期待对阿富汗采取这种勇敢的唯一正确的行动。”
到了戈尔巴乔夫时期，谢瓦尔德纳泽带头抨击出兵阿富汗的决策，并最终抛弃阿富汗红色政权。
到了1981年的苏共二十六大，谢瓦尔德纳泽发言称赞勃列日涅夫作的报告“体现了其作者、其提出者、我们英明的领导人、伟大的列宁式的革命者列昂尼德?伊里奇?勃列日涅夫的全部特性：科学深刻性、一往无前的目的性、无限的乐观主义和现实主义、高瞻远瞩和阶级原则性、对人类的热爱、洞察性和真理的力量。他的报告是我国全体人民的思想和希望之所在”。
二十六大闭幕后，谢瓦尔德纳泽回到格鲁吉亚主持共和国积极分子会议，谈了自己在党代会上的感受：“列昂尼德?伊里奇?勃列日涅夫报告的每一个原则，每一个结论，他的每一个词都表现出列宁的实事求是、列宁的坚定的目的性、对分析当代事物的真正的列宁的科学态度。列昂尼德?伊里奇?勃列日涅夫站在讲台上，对每一个人是那么友好，那么亲近。而且每一个人都看到，都全身心地体验到了他在代表大会上所思考和所做的事。”
1981年，谢瓦尔德纳泽荣获社会主义劳动英雄“金质勋章”。
到了戈尔巴乔夫时期，谢瓦尔德纳泽跟随戈尔巴乔夫猛烈抨击勃列日涅夫。有人问及他当年那些冠冕堂皇的话，“您什么时候是真心实意的…是歌颂他的时候，还是现在，彻底号召改革的时候？”谢瓦尔德纳泽回答：“我们对莫斯科不是俯首帖耳，我们只是想创造条件更好地为自己的人民服务。”
谢瓦尔德纳泽的回答表明，他可以为了格鲁吉亚的利益吹捧勃列日涅夫，也可以为了格鲁吉亚的利益背叛勃列日涅夫。然而，面对新领袖，他会不会为了格鲁吉亚的利益吹捧戈尔巴乔夫，又为了格鲁吉亚的利益背叛戈尔巴乔夫呢？历史将会证明。
在谢瓦尔德纳泽治下，格鲁吉亚成为苏联的“国中之国”。他在格鲁吉亚的怀柔政策也带来了负面后果。1983年11月18日，格鲁吉亚发生一起劫机事件。一伙以持不同政见者运动为背景、由年轻的艺术工作者、演员和医生组成的武装团伙，劫持了一架飞往列宁格勒的民航飞机。这架飞机本来的航线是由格鲁吉亚首都第比利斯飞往巴统，然后转往基辅，最后飞至列宁格勒。在飞往巴统的途中，劫机者实施了武装恐吓，要求飞机飞往土耳其。
后来由于天气原因，飞机返回了第比利斯。飞机一降落，克格勃特种部队“阿尔法”分队的士兵们立即展开营救。劫机者被击毙一人，自杀一人，还有三人受伤。苏联解体后，在格鲁吉亚首任总统兹维亚德?加姆萨胡尔季阿执政时期，劫机者的历史评价发生变化，成为“争取自由的战士”。

谢瓦尔德纳泽1928年出生，比戈尔巴乔夫年长3岁。两人相识于1961年，当时，戈尔巴乔夫是斯塔夫罗波尔边疆区团委第一书记，谢瓦尔德纳泽是格鲁吉亚共青团中央第一书记，都是属于本行政区官员里的少壮派中的少壮派。斯塔夫罗波尔边疆区与格鲁吉亚共和国距离很近，仅间隔了高加索山脉。两人既是邻居，又同为后起之秀，早在共青团工作时期就结下了深厚的友谊。再后来，两人成为了政治局里的少壮派，谢瓦尔德纳泽50岁当上政治局候补委员，戈尔巴乔夫48岁当上政治局候补委员。
1985年3月，戈尔巴乔夫上台。新领袖在各种不同场合多次提到反对个人崇拜，反对同志们对自己歌功颂德。谢瓦尔德纳泽作为新领袖的老朋友，完全没把领袖的话当回事。在1985年的七月全会上，谢瓦尔德纳泽引述了一段美国《华盛顿邮报》对戈尔巴乔夫的赞扬和评论：“但是，我们，资本主义，又能因此得到些什么呢？只能更糟。”谢瓦尔德纳泽接着说：“我知道戈尔巴乔夫同志不喜欢别人赞扬他，可这不是我说的，是美国人说的呀。他们害怕社会主义有了一个强有力的领导人。”说完，全场一片笑声。
就在这次中央全会上，谢瓦尔德纳泽升任政治局委员。紧接着第二天，谢瓦尔德纳泽在苏联最高苏维埃会议上当选为苏联外交部长。葛罗米柯同时辞去部长会议第一副主席和外交部长职务，专任苏联最高苏维埃主席团主席。
苏联解体后，戈尔巴乔夫在回忆自己的这项决定时写道：“国内外对任命谢瓦尔德纳泽的反应可说是极度困惑。许多人都表示难于理解，并且不同意将苏维埃国家如此重要的职能托付给一个非俄罗斯人。但是老于世故的人们都猜出了戈尔巴乔夫的心思：‘既给予了葛罗米柯应有的评价，同时又使自己能够在外交方面放开手脚，而将此事交由一个亲密的战友去主管。’”
1985年是葛罗米柯担任外交部长的第28个年头，他辅佐了赫鲁晓夫、勃列日涅夫、安德罗波夫、契尔年科和戈尔巴乔夫五位领袖，亲手将苏联外交政策由强硬转向缓和，又从缓和转向强硬，贯穿始终的，是葛罗米柯在外交活动中坚定不移的政治立场和刚柔并济的谈判技巧。对于国家利益问题，这是一位只能占便宜不能吃亏的主儿。
八十年代初的苏美关系乏善可陈。1983年的库页岛空难事件、北约新型中程导弹部署和1984年的洛杉矶奥运会被苏联集团抵制三件事加剧了两国的紧张关系，连两国最高级首脑“秘密热线”都一度中断。两国政府都意识到改善关系的必要性，但始终没有成功。1984年9月，葛罗米柯应邀访问美国，双方没有达成任何协议和谅解。
论资历，葛罗米柯是和安德罗波夫平起平坐的政治局委员。勃列日涅夫死后，在苏联外交领域，葛罗米柯基本上可以不请示政治局和领袖，单独做决定。经过葛罗米柯和多勃雷宁的多方努力，1984年11月，美苏两国决定在1985年1月上旬启动新一轮军备控制谈判。
1984年12月中旬，还是二号领袖的戈尔巴乔夫访问英国，取得良好的国际影响，引起葛罗米柯的不满与愤懑。初出茅庐的戈尔巴乔夫打破了葛罗米柯在国际舞台对苏联形象的垄断型代表作用。当多勃雷宁把美国社会称赞戈尔巴乔夫的舆论报告国内时，葛罗米柯对这位部下进行了批评。
1985年1月，葛罗米柯和美国国务卿舒尔茨在日内瓦举行会谈。舒尔茨在此次谈判中表现得有点磨洋工。会谈间隙，舒尔茨告诉葛罗米柯，即使戈尔巴乔夫尚未担任总书记，如果他希望对美国进行工作访问，他将受到里根和舒尔茨的接待。葛罗米柯听完大为不悦，合计着，你们美国人找我谈判也就走走过场，留着底牌等戈尔巴乔夫来访问是吧？
葛罗米柯心里对戈尔巴乔夫更加不满了！
生气归生气，葛罗米柯的大局观还是很强的。1985年3月10日，契尔年科逝世，戈尔巴乔夫主动找到葛罗米柯，希望和他“共同努力”。3月11日，葛罗米柯带头提议戈尔巴乔夫接班，在形式上立下拥立新君之功！
那么，问题来了。古今中外，几个立下拥立之功的老臣能善终的？

1985年，美国总统里根正式开始他的第二任总统任期。因为无需再争取连任，他的施政终于可以放开手脚。对于3月的苏联领导人变更，里根政府认为改变对苏政策的时机已经来临。除了在1985年1月暗示葛罗米柯邀请戈尔巴乔夫访问美国外，里根政府以吊唁契尔年科为契机，派出副总统布什和国务卿舒尔茨赴莫斯科，与戈尔巴乔夫举行会晤，力争恢复最高级首脑会谈。
会晤于3月13日举行，戈尔巴乔夫与美国副总统布什展开会谈，各自由葛罗米柯和舒尔茨陪同。会谈持续了一个半小时，美国方面以全面改善美苏关系作试探，戈尔巴乔夫表示感谢，没有正面答复。新领袖知道，这样的大事需要政治局集体讨论。戈尔巴乔夫把话题引向裁军问题，试探美国“星球大战计划”的底细，也没有得到具体的答复。总的来说，双方都表达了改善关系的良好愿望，但都避免就具体问题表态。
时隔不久，美国方面率先示好，舒尔茨告诉多勃雷宁，希望在纽约和基辅互设领事馆，先签订一些文化、交通、能源和环境领域的合作协议，以此在美国舆论中营造起美苏缓和的气氛。多勃雷宁回应道，苏联希望将控制陆地和太空军备竞赛内容纳入预备会谈议程。舒尔茨回答，先期解决这方面的问题希望比较渺茫。
在苏联内部，关于对美国的外交政策出现了巨大分歧，老一辈的政治局委员们认为，应当先取得谈判成果，再举行最高级首脑会谈。戈尔巴乔夫认为，可以先举行最高级首脑会谈，达成谅解，显示缓和的气氛，即使没有签订任何协议，也可以推动未来的谈判。
政治局的老同志们坚持勃列日涅夫时期的传统——集体讨论、领袖决策、葛罗米柯谈判，领袖在最高级首脑会谈时签字。这套程序看似民主，却是建立在勃列日涅夫拥有绝对权威的基础上。1985年戈尔巴乔夫尚未树立足够的个人权威，这就意味着葛罗米柯依旧主导苏联外交政策，其他老同志们可以围绕在葛罗米柯身边，左右外交政策走向。
1985年4月，多勃雷宁作为中央委员回国参加苏共中央四月全会。会后，戈尔巴乔夫单独召见多勃雷宁，了解美国的情况。谈话中，新领袖向多勃雷宁袒露了自己的外交理念，不仅要实现苏美两国同时裁军，还要实现苏美两国同时从欧洲撤军。戈尔巴乔夫认为，不裁军就无法改善国民经济。而同时撤军可以保持苏军在欧洲的优势——美军撤回国内后与欧洲间隔着大西洋，遇战事再调兵很困难；苏军撤回国内仍在欧洲大陆，遇战事可迅速出兵，打西方一个措手不及。最后，戈尔巴乔夫叮嘱多勃雷宁，和美国人少扯意识形态问题，谈妥现实问题就行，尽快恢复正常国家间的交往，为早日举行最高级首脑会谈做准备。
戈尔巴乔夫深知，外交部长葛罗米柯与中央书记兼苏共中央国际部部长波诺马廖夫不和。尽管波诺马廖夫的思想比葛罗米柯还保守，戈尔巴乔夫仍然时不时地把一些外交问题交由波诺马廖夫征求意见，试图打破葛罗米柯对外交问题的垄断，以此暗示党内高层：不要以为葛罗米柯有“拥立之功”，就可以肆无忌惮地大权独揽，抵制新领袖的外交路线方针。当时的人们没有意识到，戈尔巴乔夫已经准备换人了。
1985年5月14日，奥地利举行战后独立30周年纪念活动，葛罗米柯和舒尔茨分别代表苏联和美国参加相关活动。双方在维也纳举行了会谈，都提出，要把最高级首脑会谈地点选在本国，要求对方过来打客场。陷入僵持之际，戈尔巴乔夫电告葛罗米柯，建议美国选择“中立的第三国”作为最高级首脑会谈地点。
6月中旬，美国政府终于答应在11月19日至20日举行最高级首脑会谈，地点选在瑞士的日内瓦。美国政府同意就裁军等一系列问题展开会谈，并建议由两国外长在7月下旬即将举行的赫尔辛基欧洲安全与合作会议期间举行单独会谈，为日内瓦最高级首脑做好充足准备。
双方议定之后，里根和舒尔茨开始准备谈判，戈尔巴乔夫和葛罗米柯也开始准备谈判。戈尔巴乔夫在准备谈判的同时，还准备了另一件事——罢免葛罗米柯的外交部长职务，由谢瓦尔德纳泽接任。