“四旧”及后来的打砸抢，让李轼感到厌恶，这种行为不是一个现代文明社会应该有的。上头不是也说要文斗不要武斗吗？国家要是动荡了，最终倒霉的还是平头百姓。李轼顿时萌生退意，开始消极了。
1967年7月，江州等地武斗升级为热兵器对抗时，局势明显失控。学生们的感受差不多，这哪里还是“文化”大革命？简直成了武装斗争了。李轼和杨建国又不约而同地逍遥起来，杨建国去坐茶馆下棋，李轼去江边游泳。
若干年后，李轼和吴能摆龙门阵，提到当初那一段经历。说他去参加学校造反组织时，那组织的几个一线领导都跑到北京去了，留下几个二线领导在那里撑着门面，人员也就二十来人，上街游行宣传都扯不起场子。吴能很幽默地说：
“你这就是投机革命赶上时候了，他们急需要扩充人马，只要有人投靠，不分良莠，一律收编。我们那时都不敢要出身不好的，怕招致对手攻击。再者说，你运气不错，遇到的小环境还行，没有受到太大的为难。我晓得一些所谓出身不好的同学都夹起尾巴做人，你还公然去参加造反派。”
李轼一笑说：“当时我是没有多想。后来才晓得有些搞得‘左’的地方和单位，对所谓出身不好的人，手段也是很毒辣的。我才庆幸自己造化大，居然能混迹于革命队伍又全身而退。”
吴能被暗算后，表面上像有同学说的那样“被退了神光”，打蔫了。实际上像跟他交好的方二等人就明白，吴能是内心变了，从刚开始的积极投入文化大革命，到不再相信文化大革命。因为吴能在私下对方二等同学说过，“文革”就是上层的权力斗争，对老百姓而言，就是煮豆燃豆箕。我们这些学生不管是哪派都成了上层的工具，干了不少蠢事。
对吴能这些想法，李轼也有类似的看法，不过他不如吴能那样明白，“文革”时，吴能这些高三学生已经19或20岁了，算是成人了。而李轼他们这些初三学生只有16或17岁的年龄，很多事就只晓得一个表面情况，虽有自己的一些想法，却说不出一个所以然。是运动本身的混乱不堪，让他们明白过来，这种运动只能给社会带来不幸。