大别山根据地的建立，实现了毛泽东估计的三个前途中最好的前途。陈锡联率领三纵在大别山取得的重大胜利，使敌人极为惊慌。敌人抽调14个师33个旅，开始对大别山展开全面围攻。
在我军进入大别山之初，中原局即决定，在新区党、政组织机构未建立之前，先成立豫东南、鄂东、鄂皖、皖西等4个区工委，负责开展地方工作。
1947年8月30日，中原局明确划分了部队展开和各工委的工作区域，其中规定陈锡联率领第三纵队负责皖西区的工作，辖桐城、庐江、舒城、霍山、六安、无为、寿县、霍邱8县。陈锡联指挥各旅，积极和皖西地方党组织取得联系，肃清土顽，发动群众，开辟皖西革命根据地。
皖西地区位于大别山东南，有着光荣革命历史。刘邓大军到达前，皖西人民自卫军在潜山、舒城、桐城、岳西一带，保有较完整的根据地，周围各县是游击队经常活动的地方。由于它与鄂豫连接，南锁大江，威逼南京、武汉，历来为兵家必争之地。
根据当时的斗争形势，陈锡联决定，各旅着重工作区域为：七旅加强桐城、安庆，八旅加强舒城、庐江，九旅加强六安、合肥，教导团和补充团加强三工委，纵队直属队抽出近千人组成两个武工队加强潜山、太湖。各旅组织两个武工队，每队50人，由坚强的军政干部和翻身农民战士组成，作为潜（山）怀（宁），潜山、舒城、庐江、六安、合肥县地方武装，归县委领导。主要任务是开展群众工作，进行土改，摧毁旧保甲，建立基层人民政权，发展和巩固游击队，建立根据地。到10月中旬，在已解放了的12个县中，建立了10个县的民主政府，为创建皖西根据地奠定了基础。
与皖西根据地建立的同时，在鄂豫区也成立了区党委、军区和行署。这样，以鄂豫和皖西为核心的大别山根据地就形成了。我军在大别山深深扎下了根，实现了毛泽东估计的三个前途中最好的前途。
陈锡联率领三纵在大别山取得的重大胜利，使敌人极为惊慌。为了与我军争夺大别山这一战略要地，敌人从山东和豫皖苏战场调来5个师，加上原在大别山的9个师，共14个师33个旅，于11月27日开始对大别山展开全面围攻。
为了坚决粉碎敌人的围攻，晋冀鲁豫野战军司令部制定了“内线坚持和分兵向外、内外配合、寻歼弱敌”的方针。根据这一方针，陈锡联对三纵进行了紧急动员和战前准备。随后，立即投入了反对敌人围攻的战斗。
在经扶（现新县）城以北的行进途中，陈锡联到野战军前方指挥所，见到了邓小平政委和李先念副司令员。
一见面，李先念就开玩笑地说：“锡联同志，背得动吗（指背着敌人行动）？”
邓政委接着说：“就是要多背一些，背重一些，釜底抽薪就不要怕烫手。调动敌人回援其根本重地，这是个关系到全局的战略行动。我们多背些敌人，宁愿本身多忍受一个时期的艰苦，也要拖住敌人几十个旅于自己的周围，使山东、陕北的兄弟部队能腾出手来，大量消灭敌人。现在陈粟、陈谢的部队，为配合我们粉碎敌人的围攻，已开始向陇海、平汉路的敌人出击。我们准备告诉他们，要做长期打算，我们在大别山背重一些，他们可以放手歼敌，对全局极为有利。”
12月7日，根据邓小平政委和李先念副司令员的指示，陈锡联率领三纵由麻城白果地区北上，拖着敌人几个师在麻城、新县、黄安（现称红安）、商城、潢川、固始等地区周旋，最后强渡史河，跨过六（安）叶（家集）公路，于24日到达英山以北地区。部队连续在冰天雪地里战斗行军18天，行程千余里，胜利完成吸引多路强敌并将其拖疲拖困的艰巨任务。
在此期间，陈锡联率部曾先后摆脱了敌人的多次大合围。
12月13日，当陈锡联率三纵全部进至新县正向商城以西转移时，敌五十八师在余家集与三纵前卫九旅接触，后面敌七师已越过麻城北上，步步逼近，构成合围态势。九旅二十五、二十六团连续击退敌五十八师多次进攻，激战终日，顺利地掩护了三纵主力的转移。为了把五十八师拖向西南，九旅单独向福田河方向运动，以后该旅即在麻城以北山区机动作战。16日，七旅十九团在商（城）潢（川）公路上的江家集，与尾追之敌展开激烈战斗。战至黄昏，冒着大风雪，徒涉泼皮河，摆脱了敌人。
14日，当陈锡联率部连续行军到达商（城）固（始）公路之上石桥时，上有敌机轰炸、扫射，前有敌军阻拦，后有追兵，侧翼敌人正在运动。在此紧急情况下，陈锡联和八旅二十二团的领导同志共同研究决定：该团一营抢先渡过灌河，占领阵地，团主力就地展开，阻击敌人，纵队主力连夜冒雪破冰迅速徒涉过河。部队过河后，夜行百余里，终于摆脱了敌人。
12月20日，部队在黎集以南渡过史河后，原准备休息一两天，但刚进入宿营地，即获悉敌四十六、四十八与五十八师，正分别由六安、商城、固始向叶家集地区合击。为迅速跳出合围圈，部队马上向麻埠方向转移，高速度通过了六（安）叶（家集）公路。
当陈锡联率纵队主力通过不久，几路敌人即接踵而来。为迷惑和拖住敌人，陈锡联命令七旅出皖西霍山、舒城，陈锡联亲自率八旅经霍山以西进入英山以北地区。原留在麻城以北地区拖敌的九旅，经过连续行军作战，克服了重重困难，于12月25日到达英山以南四姑墩地区。七旅在皖西辗转歼敌后，也于1948年1月10日转移至英山东北的陶家河地区。
在此期间，皖西军区部队及广大地方干部，以英勇顽强的精神，积极投入到艰苦的反围剿斗争。他们一面发动群众反抓丁、反抢粮、反掠夺，破坏敌人设置的“三网”和经济封锁政策，一面组织游击集团，配合主力部队作战。由于皖西区的游击活动战绩甚大，荣获中原军区通令表扬。
正当陈锡联率三纵在英山东北的陶家河地区休整之际，敌又调集重兵，向英山以东、罗田以北、商城以南、岳西腹地进犯，并派出大批特务与土顽结合，企图对陈锡联的三纵主力进行“重点合围”。
为粉碎敌人新的围攻，陈锡联率领三纵于1月28日转向皖西。同时，他命令八旅向桐城、舒城、霍山、六安地区机动，九旅向太湖、英山、罗田地区机动，七旅向罗田、商城边界地区机动。当敌人跟踪陈锡联转到外线的主力准备合围时，三纵各旅便甩开集中的强大敌人，辗转机动，分散歼灭敌人。在此次战斗中，三纵的郑国仲副司令员不幸负伤。
在整个反围剿过程中，陈锡联得到了大别山广大人民群众的很大支援，他们除供应军队粮食、柴草外，还协助部队作战，当向导、送情报。特别是在救护工作上，帮助部队抢救伤病员，把一些经治疗，包扎后的重伤病员，隐藏在自己的家中或山上，他们采药送饭，送衣送被。当敌军“清剿”时，又想尽一切办法，积极保护伤病员，充分体现了军民骨肉之情。
在陈锡联率领三纵在内线坚持作战的同时，陈粟野战军和陈谢兵团在平汉、陇海线积极活动，攻克县城23座，有力地配合了陈锡联所部在大别山区的反围剿斗争。敌人在我军强大打击下，被迫先后从大别山调走13个旅，使其在大别山的全面围攻惨遭失败。敌人大量被歼，平汉、陇海铁路干线被切断，重要据点被包围，这就使其中原战场全面防御体系遭到粉碎，被迫转取分区防御。从战略进攻开始，经过半年的作战，南下大军已在江淮河汉之间的广大地区站稳了脚跟，全国各个战场的进攻和反攻，也大量歼灭了敌人，形势发生了有利于我军的根本性变化。
1948年2月，中央军委为了使中原地区各野战军集中作战，打中等和大的歼灭战，确定晋冀鲁豫野战军主力转出大别山，进至淮河、汉水、陇海路、津浦路之间广大地区，寻机歼敌。陈锡联率领三纵于3月28日北渡淮河，尔后转入豫西地区。当时部队中有的同志认为，这是“前进一千里，后退五百里”。邓小平政委说：“这是从形式上看问题，不是从本质上看问题。我的说法是：‘前进一千里，又前进了五百里’。因为大别山仍然在坚持，并没有放弃，而且今后还要坚持。”
邓小平又说：“大别山斗争已经前进了一步，前进到当地的人民和军队已经能够坚持大别山，前进到主力已经可以逐步抽出来集中机动作战”。
1949年春天，在第二野战军刘邓首长直接指挥下，陈锡联又率部回到了大别山。从此，陈锡联几进几出大别山，经过艰苦卓绝的战斗，牢牢地在这片土地上站稳了脚跟。这时，经过多次战斗洗礼的大别山，已成为渡江作战的前进基地，为支援解放全中国，继续作出贡献。