亦道：“刘是名臣，我的本意也想要赦免他。”于是只是调任他的官职而已。刘因而深感陈群之德，陈群却认为：“议论如何量刑乃是为了国家，并非为了私人，况且赦免你的决定本是出自英明之主，我又怎么能知道呢？”陈群心胸博大，从不骄矜自傲，始终都是如此。
同年十月，孙权上书称臣，称说天命。曹操以孙权之书示外道：“这小子想把我放在炉火上吗！”陈群便与尚书桓阶上奏：“汉自安帝已来，政去公室，国统数绝，至于今者，唯有名号，尺土一民，皆非汉有，期运久已尽，历数久已终，非适今日也。是以桓、灵之间，诸明图纬者，皆言‘汉行气尽，黄家当兴’。殿下应期，十分天下而有其九，以服事汉，群生注望，遐迩怨叹，是故孙权在远称臣，此天人之应，异气齐声。臣愚以为虞、夏不以谦辞，殷、周不吝诛放，畏天知命，无所与让也。”
延康元年（公元220年），曹丕即王位后，封陈群为昌武亭侯，徙为尚书。其间，陈群建制九品官人之法，成为历史名制。
同年，曹丕称帝，陈群迁尚书仆射，加侍中，徙尚书令，进爵颖乡侯。?黄初中，曹丕意欲追封卞太后的父母，陈群奏道：“陛下以圣德应运受命，创业革制，应当永为后世所循之式。按照典籍上之文献，从无妇人可以分土命爵之制度。在礼典，妇因夫爵。嬴秦违于古法，而刘汉则沿承古例，这可不是先王之令典啊。”曹丕大悟，便道：“此议甚是，既然如此，且勿施行。以此作着诏下藏之于台阁，使其永为后式。”
在曹丕受禅时，朝臣三公以下皆受封爵位；独华歆因为以神色不合触忤曹丕，所以只是官徙司徒，而并无进爵。曹丕久不能释怀，便问陈群道：“我应天受禅，诸侯群后，无不人人喜悦，其形尽现于声色，惟独相国（指华歆）和你脸有不豫，这是为了甚么呢？”陈群便离席长跪道：“臣与相国曾为汉朝之臣，内心虽为陛下感到喜悦，但在义理上，臣等的神色实应畏惧、甚至憎恨陛下才对。”曹丕听后大悦，方知其意。
当年，蜀司徒许靖曾执兄礼以事陈群之父陈纪，又与陈郡人袁涣、平原人华歆、东海人王朗等亲善；所以陈群在魏初为公辅大臣时，常与许靖有书信往来，重结旧好，情义款至。
黄初三年（公元222年），刘巴去世后，陈群赍信与丞相诸葛亮，问刘巴的消息，并称“刘君子初”，甚为敬重。
黄初四年（公元223年），陈群与仆射司马懿并举泰山人鲍勋为宫正。
同年，陈群与******歆、司空王朗、太史令许芝、谒者仆射诸葛璋分别致书与蜀相诸葛亮，向其陈说天命人事，希望蜀汉能举国称藩，但徒劳无功。
黄初六年（公元225年），曹丕亲征孙权，军至广陵，使陈群领中领军。
黄初七年（公元226年），曹丕师还寿春，以陈群假节都督水军。曹丕回到许昌后，拜陈群为镇军大将军，领中护军，录尚书事。鲍勋时为治书执法，因屡次面谏曹丕而触怒曹丕，后又于陈留郡界包庇太守孙邕，被收付廷尉并议死罪。陈群便与太尉钟繇、******歆、侍中辛毗、尚书卫臻、守廷尉高柔等联书并表“鲍勋父鲍信曾有功于太祖曹操”，求请赦免鲍勋死罪。曹丕不许，仍诛鲍勋。
夏五月丙辰，曹丕得疾甚危，陈群与曹真、司马懿等并受遗诏辅政。
太子曹即位后，陈群进封颍阴侯，增邑五百，并前千三百户，与征东大将军曹休、中军大将军曹真、抚军大将军司马懿并同开府。十二月，陈群又升为司空，故录尚书事。是时，曹正初临政，陈群便上疏道：“《诗经》上说‘仪刑文王，万邦作孚’，又说‘刑于寡妻，至于兄弟，以御于家邦’，都要讲效法先贤，以身作则的重要。道德的施实和教化的普及，一定要从身边开始由近及远，才能最终广布于天下。从灵帝去世、董卓进京开始，天下大乱，攻战不止，老百姓不懂得先王之教的本意，我怕王教已衰败得很厉害了。陛下如今应该承继魏国的兴盛，肩负起太、高二祖开创的基业。现在天下人都向往着美好的政治局面，只要能够崇尚德治，布施仁化，体恤黎民，那百姓可就幸福了。此外，当臣子的人云亦云，随声附和，是非混淆，互相包庇，乃是国家的大患。如果大臣们彼此不和睦，就会产生对立的派别；如果有对立的派别，对文武官员的好坏评价就会失去标准和根据；如果评价好坏没有根本标准和客观根据，就会良莠不分，真假难辨。对这种现象，陛下不能不深加防备，及时采取措施，以断绝后患。”陈群为司空期间，能任贤用能。
陈群重视妻弟荀，以之为奇异；又辟北地人傅嘏为掾。亦曾上言举荐当世隐贤管宁：“臣听闻王者弘扬善行用来消除邪恶，所以商汤举荐伊尹，而使不仁者远离，这是实行德政的缘故。伏见征士北海管宁，德行为世人的表率，学识足以成为人师，清廉俭朴足以荡去污浊，坚贞端方足以。匡正时弊。之前虽然征辟过他，礼节尚未未优备。从前的司空荀爽，在家被拜为光禄大夫，先儒郑玄，立即授予司农，如果礼仪周备，一定可以请他出山。至延西序，坐而论道，定能昭明古今，有益于道德教化。”
陈群亦不忘论骘人物，曾与崔林共论冀州人士，林称冀州当以崔琰为首。陈群以“智不存身”贬之，但却被崔林反驳道：“大丈夫为人但有邂逅而已，即使如卿等几人，又足以为贵吗！”
太和四年（公元230年），大将军曹真上表欲起兵数道伐蜀，从斜谷而入。陈群认为当年曹操到阳平攻张鲁，已经多收豆麦以增添军粮，然而张鲁未下而军粮犹乏。如今既无别因，而且斜谷阻险，难以进退，转运粮草必会受到钞截，但若要留兵守重地，则劳损战士，这些都是不可不熟虑的事。曹便依从陈群所议。不久，曹真复上表要从子午道出军。陈群又述说其中不便，并言军事用度之计。于是曹以陈群之议下诏曹真。其时正霖雨积日，陈群又以为应宜诏曹真还师，曹从之。
太和五年（公元231年），诸葛亮攻打祁山，不克引退。大将张深追其军，为流矢所中，死于木门。曹非常痛惜张的死，临朝而叹道：“蜀地还没有平定张却死了，该怎么办呢！”陈群说：“张的确是良将，是国家的依靠。”卫尉辛毗则以为张虽然可惜，但毕竟已死，不应示弱。于是向陈群说：“陈公，这是甚么话呢！当建安之末，天下不可一日没有武皇帝（曹操），及后委以国祚，而文皇帝（曹丕）受命，黄初之世，亦说天下不可无文皇帝，至其委弃天下，而陛下亦自龙兴。如今国内所缺乏的，又岂会是张呢？”陈群便道：“确实如同辛毗说的那样。”曹笑说：“陈公可称得上善变啊。”
太和六年（公元232年），曹爱女曹淑逝世，追封谥平原懿公主。陈群上疏奏说：“人的寿命长短是由命运决定的，生死存亡自有定分。因此圣人们制定礼仪时，或有所限度或充分显现，以求得公允，合乎天道。孔子父母的合葬坟墓不整治，不装饰，很俭朴；延陵季子的长子死在从齐国返回的途中，就安葬于嬴县、博城之间，有不归之魂。所以说，圣人的一举一动都合乎天地之道，因此能够流传千古；大德之人的一举一动都不能超越法则，因此成为万世师表。公主死时年仅八岁，因此按照礼的规定，还不具备大办丧事的资格，况且又不是周年满月，如果用成年人的礼仪给她送葬，再多做些丧服，让满朝文武都穿上，一天到晚守灵痛哭，自古以来，这可是前所未有的呀。而且听说陛下还要亲自视察陵寝，亲自路祭于庭、升柩于车。希望陛下能抑止割舍这些有损无益的事情，一切送葬事宜但凭大臣们的安排，不必御驾亲临，这是国家最大的希望了。听说陛下的车驾要到摩陂，实际上要到许昌，您和太后宫中的上下人等，全都跟着一起东行，朝里的大小官员，没有不感到惊讶的。有的说你是想要东行避灾，有的说您打算找个合适的地方迁建宫殿，还有的不知道你到底想干什么。臣下认为，吉凶有命，祸福有人，即使迁徙求安，也不会有什么益处。倘若一定要迁移躲避，那么好好修缮一下京城西北的金墉城，或孟津的别宫，都可以暂时留住，这样也可以免除西宫上下露宿原野，耽误春耕农忙的弊病。再说，如果东吴、蜀两国的敌人听到你要东行的消息，就会认为您是自取败势，因而加强对魏国的袭击干扰，那时咱们的麻烦可就多得数都数不过来了。况且，善士贤人应该能够承担盛衰，直面安危，秉执道义，笃信天命，并非搬迁其家以求安宁，周围的人也会受到他们的影响和感化，消除恐惧心理，何况陛下乃是万国之主，您平静天下就安定，您躁动天下就会纷乱，您的一举一动，怎么能够稍有不慎呢？”曹不听。
青龙三年（公元235年），朝廷营治宫室，百姓因而尽失农务时利。陈群上疏奏说：“大禹继承了唐、虞的盛世，却仍然不看重修建宫室，厌恶豪华的衣服，何况当今自灵帝死后，天下大乱，老百姓所剩不多，比起汉文帝、汉景帝时，现在户口超不过那时的一个大郡。再加上边境战事频繁，将士劳苦，如果再遇到旱涝灾害，国家的忧患可就深重了。况且吴国、蜀国尚未消失，国家还很不安定，应该乘他们还没有兴师进攻，加紧训练军队，鼓励农耕，做好准备，严阵以待。现在陛下舍弃这些当务之急，反而先建宫室，臣下恐怕老百姓会日渐困乏，将来拿什么来抵抗敌兵呢？当初刘备从成都来到白水，驿站内建造了许多接待来往过客的房舍，征用耗费了不少劳役，太祖就认为他在劳民。如今，中原地区像这样耗费劳力，正是吴国和蜀国所希望的，这可是关系到国家安危的大事，希望陛下能好好考虑这件事。”曹答道：“灭吴、与建宫室，也可以一起进行，一起完成。灭吴、蜀后，罢兵守城，怎么可以再征用劳役呢？你是司空，和当年建未央宫的萧何一样，自然有建造宫室的职责呀。”
陈群又说：“从前汉高祖刘邦只和项羽争夺天下，项羽灭亡后，宫室都被大火烧毁了，因此萧何才修建了武库和谷仓，这些都是急切需要的设施，可汉高祖看到这些建筑造得很壮丽，仍然气冲冲地责备萧何不该把它们造得过分豪华。如今吴、蜀尚未平定，实在不应该大兴土木。人想要做件事或者想要得到某种东西，没有找不到借口和辩解之词的。何况您是天子，没有谁敢违抗您的旨意。如果以前您打算拆毁武库，就可以说不能不拆毁它；如果以后您打算再修复它，又可以说不能不修复它。如果您一定要做的事，固然陛下打算不会屈从于臣下的言辞，但是如果您能断然回心转意，也并非是臣下的力量所能达到的。当初汉明帝想修筑德阳殿，钟离意极力劝阻，汉明帝就听从了他的意见，可后来还是动工修建了，宫殿建成后，汉明帝对大臣们说了这样一句话：‘要是钟离尚书还在，这座德阳殿也盖不成了。’所以说，当帝王的怎么会惧怕一个臣子，其实都是为了老百姓啊。现在臣下不能让陛下留意倾听我的意见，比起钟离意来，我可差得太远了！””曹于是有所减省。
青龙四年（公元236年）十二月癸巳，陈群逝世，谥曰靖侯。其子陈泰嗣任。曹追思陈群之功德，于是分给陈群户邑，并封一子列侯。
陈群前后数次，密陈朝廷得失，每次上奏都封隐其事，辄毁草拟文件，时人及其子弟均不能知其所奏。有人讥议陈群居位拱默，正始中诏撰群臣上书，以为名臣奏议，朝士乃见陈群谏事，皆甚叹息。
正始四年（公元243年），陈群得享从祀于曹操庙庭。