1938年4月28日上午，粟裕率领的新四军北上先遣支队从皖南岩寺潜口誓师出发了。几天后。陈毅和傅秋涛率领的第一支队也离开岩寺地区，沿着先遣支队开辟的道路向苏南敌后挺进。
先遣支队向敌后开进越深入，战争的气氛越紧张，越浓烈。出征以来，粟裕总是走在队伍的前列，每天出发前，都要召集大家讲话，明确当天的任务和要求。
一到宿营地就抓紧时间了解社情敌情，勘察地形，做群众工作。夜深了，战士们都休息了，粟裕还在研究情况，部署第二天工作。
新四军军部正式成立
1937年11月，按照中共中央关于军部暂驻武汉的意见，叶挺、项英先后到达武汉，在汉口大和街26号筹建新四军军部。
12月13日，中共中央政治局作出《对于南方游击区工作的决议》，充分肯定了南方三年游击战争的成绩。
12月14日下午，中共中央政治局又专门讨论了南方各游击区的工作和新四军的编组原则问题。
会议决定成立中共中央东南分局，委员有项英、曾山、陈毅、方方。项英任书记、曾山任副书记兼组织部长。后增加黄道、袁国平、郭潜、薛尚实为委员。分局机关驻南昌。东南分局主要负责领导东南各省党的工作，受中共中央和中共中央长江局双重领导。
会议同时决定，成立中共中央革命军事委员会新四军分委员会，委员有项英、陈毅、张云逸、袁国平、周子昆。由项英任书记，陈毅任副书记。
会议指示，各游击区的红军和游击队，大部分要下山集中，主力要到抗日前线去，以增强抗日力量，并扩大中国共产党的影响。同时，各游击区应留一少部分武装坚持，以求得将来的发展。
从11月起，中共中央从陕甘宁边区机关、部队中陆续抽调张云逸、袁国平、李一氓、周子昆、赖传珠、陈少敏、李坚真、涂振农、钟平、邓振询、谢华一、郭潜、罗梓铭、何绪荣、危秀英等100多名干部，经过中央党校短期训练后派往南方工作，解决了东南分局和新四军干部不足的问题。
12月23日，项英率赖传珠、李子芳、李志高、汤光恢等一批派往新四军工作的干部抵汉口。
经过国共双方的反复协商，最后，中共方面在部队编制、薪饷等问题上作出了一些让步，同意新四军不隶属八路军，由所在战区直辖，军以下不设师、旅、纵队，直辖四个支队，在南方各地只设留守处、办事处，部队全部开往抗日前线；在坚持单独成立一个军，国民党不插入一个人，坚持共产党的独立领导权和敌后游击战争等原则问题上，也迫使国民党作出了让步。
12月25下午，项英从延安带来的干部、叶挺动员来参军的医务、后勤人员等齐聚一堂，举行新四军干部会议。
叶挺军长、项英副军长分别在会上作了关于形势、任务和部队编组的讲话，号召大家团结奋斗，抗战到底。这次会议，标志着新四军军部的组建完成。
12月28日，毛泽东复电批准了关于新四军编为四个支队和干部配备的具体方案。何应钦亦于1938年1月初正式核定有关新四军的编制、薪饷及干部配备问题。不久，又批准了项英任副军长、张云逸、周子昆任正副参谋长，袁国平、邓子恢任正副政治部主任。
1938年1月6月，新四军军部从汉口移抵南昌市三眼井高升巷原张勋公馆内挂牌办公。当天，中共中央东南分局和新四军军分会在南昌正式成立。
同时，军部各部门陆续建立起来。当时国民革命军的统一编制是军部设8个处，新四军有所不同的是将政工处扩大为政治部，以继承红军政治工作的传统。
各部门的主要负责人是：参谋处处长赖传珠，秘书处处长李一氓，副官处处长黄序周，军需处处长叶辅平，军医处处长沈其震，军法处处长李一氓兼，兵站处处长张元寿，情报处处长封裔应，政治部秘书长黄诚，组织部部长李子芳，宣传教育部部长朱镜我，民众运动工作部部长邓子恢兼，敌军工作部部长林植夫，战地服务团团长朱克靖。
此时，新四军辖4个支队10个团和1个特务营，共10329人，但是只有6500余支枪，许多战士还以大刀梭标为武器。
第一支队司令员陈毅，副司令员傅秋涛，参谋长胡发坚，政治部主任刘炎。辖第一团、第二团。第一团由湘鄂赣边红军游击队组成，团长傅秋涛兼，副团长江渭清。第二团由赣粤边、湘赣边、皖浙赣边红军游击队和湘南游击区的湘粤赣游击支队组成，团长张正坤，副团长刘培善。
第二支队司令员张鼎丞，副司令员粟裕，参谋长罗忠毅，政治部主任王集成。辖第三团、第四团。第三团由闽西、闽赣边红军游击队组成，团长黄火星，副团长邱金声。第四团由闽粤边、闽西、浙南红军游击队组成，团长卢胜，副团长叶道志。
第三支队司令员张云逸，副司令员谭震林，参谋长赵凌波，政治部主任胡荣。辖第五团、第六团。第五团由闽北游击队组成，团长饶守坤，副团长曾昭铭，第六团由闽东游击队组成，团长叶飞，副团长吴焜。
第四支队司令员高敬亭，参谋长林维先，政治部主任萧望东。辖第七团、第八团、第九团和手枪团。第七团由鄂豫皖边的红军第二十八军一部组成，团长杨克志，政治委员曹玉福。第八团由鄂豫边红军游击队组成，团长周骏鸣，政治委员林恺。第九团由红军第二十八军八十二师特务营和鄂东北独立团组成，团长顾士多，政治委员高志荣。手枪团由红军第二十八军手枪团和部分便衣队组成，团长詹化雨，政治委员汪少川。特务营由湘南、闽中红军游击队组成。
新四军开赴抗日前线
1938年1月10日前后，中共东南分局成立会议在南昌召开，会议确定由分局成员赴各游击区传达中共中央的新政策，迅速集中部队，开赴抗日前线。
按照中共中央关于南方红军和游击队集中整编的指示，新四军军部于1938年2月下达了部队集中整编和集结的通知。
随后，主要领导人分赴各游击区传达中央指示，做好部队集中改编工作。把由各红军游击队改名的“抗日义勇军”等抗日武装改编为新四军，组建新四军的四个支队。
从1938年1月中旬起，项英、曾山、陈毅、黄道、张云逸、赖传珠等先后到湘赣边、赣粤边、闽浙边向三年游击战争的红军游击队指战员，宣传国际国内形势，并就国共合作、南方红军游击队改编为新四军的问题作了动员。
当时，有些游击队干部、战士对改编不理解，认为改编是向国民党“投降”，尤其是对“穿国民党军服”、“戴国民党帽徽”意见最大。
面对这些思想问题，项英等领导人耐心细致地做说服教育工作，明确指出：国共合作、下山改编是为了国家与民族的生存，不是投降国民党。虽然我们换了名称、军服和帽徽，但我们仍然是中国共产党领导的队伍。
项英等领导人还分别与各块游击区党组织负责人商量决定了部队集中编组及开赴前线事宜。
经过项英等的辛勤工作，新四军第一、第三支队于4月初开至皖南款县岩寺镇集结，第四支队也于4月初开至皖中舒城、庐江地区集结。第二支队由于路途太远，加之又到福州领回原何鸣部被缴的枪支，直至4月18日才到达岩寺。
这样，分布在南方八省14个地区的红军和游击队，在高度分散，交通、通信联络非常困难的情况下，仅用3个月时间，就顺利地完成了下山、集中改编为新四军的任务，速度是相当快的。
由于编入新四军的各地红军游击队正在开赴皖南和皖西集结，也为了使指挥机关尽量靠近抗日前线，新四军军部于1938年4月4日离开南昌，5日抵达皖南歙县岩寺镇，7日又到太平县麻村，26日进驻南陵县土塘村，8月2日移驻径县云岭村。军部在云岭近三年，直到1941年1月4日晚北移。
此时，尽管南方八省红军和游击队纵欲汇成一股洪流，陆续奔向抗日战场，但一系列重大的问题也逐渐凸现出来。
新四军该不该挺进敌后？什么时候挺进敌后？挺进敌后能否在平原地区开展抗日游击战争并建立抗日根据地？这些不仅是摆在新四军面前的问题，也是当时困扰全党、全军的问题。
以毛泽东为首的中共中央高瞻远瞩，对中国军队长江南、北的部署及时提出了明确意见：甲、为使敌攻武汉处于我之战略包围，新四军必须建立下列2个主要军区及6个辅助军区。一、苏浙皖赣边军区，以皖南为重心，攻击并准备攻击南京、芜湖、杭州浙赣路与湖口之敌。二、鄂豫皖军区，以舒桐黄广商固为中心，攻击并准备攻击占领三条铁道及沿江之敌。以上两区是主要的。国民党需派大员指挥，并各部署30000至50000兵力于其中。我们则以陈毅支队置于皖南，以高敬亭支队并准备增加一部置于皖北。三、浙南军区，攻击占领杭甬路及浙赣路之敌。四、鄂赣军区，准备攻击占领沿江及南浔路之敌。五、汉水军区，准备攻击平汉路南段之敌。六、豫西军区，准备攻击平汉路中段之敌。
乙、围在敌之远后后方起战略钳制作用，须建立苏鲁军区，以苏鲁交界为中心并指挥鲁东战争。此区国民党须派可靠大员，我们派人辅助之。此区与皖南、皖北须立即部署。
1937年12月30日，中共中央把此部署转发到了刚成立不久的新四军军部，明确要求华中新四军，应立即在江南和江北两个方向，分别以陈毅支队和高敬德支队向敌后发展，为新四军下一步活动初步指明了方向。此时，刚成立不久的新四军，也迫切希望早日奔赴抗日最前线。1938年2月14日，遵照中共中央的战略部署，项英、陈毅致电毛泽东，建议新四军不宜全部集结于皖南岩寺，要尽可能向前伸出到广大的机动地区，如浙苏皖边之昌化、绩溪、孝丰、宣城、宁国一带，以便自由进退，以游击战在战略上配合正规军为原则，受领一定任务，机动地完成。
他们还提出首先由陈毅带领第一支队出动，张鼎丞带领第二支队暂时留在闽、赣，第三支队等到第一支队到皖南后再行动。
毛泽东接到新四军的行动建议电报后，他运筹帷幄，把目光投向了苏南的茅山地区。
茅山是道教圣地，它位于南京、镇江和无锡侧面敌后，如果新四军行动到此地，就完全脱离了国民党军的控制，将来还可以从扬中一带北渡长江，深入到长江以北的苏中、苏北地区。在辽阔的苏北地区，日军和国民党军势力都很薄弱。
毛泽东目光敏锐，一下子就看清了这个战略要地。于是，他在2月15日复电项英、陈毅，迅速批准了这个建议：“同意14日电的行动原则，力争集中苏浙皖边发展游击战。”
同时，明确指出：“但在目前最有利于发展地区还在江苏境内的茅山山脉，即以溧阳、溧水地区为中心，向着南京、镇江、丹阳、金坛、宜兴、长兴、广德线上之敌作战，必能建立根据地，扩大新四军基地。如有两个支队，则至少以一个在茅山山脉，另一个则位于吴兴、广德、宣城之线以西策应。”
毛泽东的策略十分英明，此后，新四军在茅山根据地的斗争主要在这两方面展开。
这时，国民党军政当局既不让进行整训，又不给补充武器装备，即命令新四军开赴苏南、皖中敌人侧后，在这些地区构成游击网，袭击敌人，破坏敌人交通，以牵制敌人，并且指定新四军开赴路线、活动范围、作战任务，到达时限，可谓借刀杀人。
国民党还划定的新四军活动地域为：第一、第二支队在长江以南，芜湖以东，高淳、溧水、金坛之线以北，丹金公路以西，东西不过100余公里，南北仅约五六十公里；第三支队在东起芜湖、宣城、西至铜陵，南至青阳，北临长江的狭小地带；第四支队在皖中的淮南铁路沿线一带。同时，国民党还一再下达指令，不准新四军“越境”活动，可谓画地为牢。蒋介石的阴险意图昭然若揭。
在薛岳处的叶挺给项英去电，传达蒋介石命令：新四军出南陵，依大茅山、芜湖、宣城方向行动。对于蒋介石的命令，叶挺认为没有理由拒绝，而项英认为“不能接受”。
项英指出：“蒋介石显然是将新四军送出到敌区听其自生自灭，含有借刀杀人的用意”；“如去茅山，应南广德、宣城或广德与安吉之间插出，不应出南陵”。
毛泽东又思考了三天，仍坚持原来意见，并于3月21日复电项英：“未知南陵一带地势如何，如系山地，开经南陵一带未尝不可。因敌犯长江上游时，南陵一带居于敌之侧后，正好活动。”
后来的事态发展证明了毛泽东的建议是极富远见的、正确的。当时，新四军深入茅山地区，既顾及了统一战线，又跳出了国民党军的控制，是以后发展苏北的先声。
5月4日，毛泽东就新四军应进行敌后游击战争的问题致电项英：“在敌后进行游击战争虽有困难，但比在敌前同友军一道并受其指挥反会要好些，方便些，放手些。敌情方面虽较严重，但只要有广大群众，活动地区充分、注意指挥的机动灵活，也会能够克服这种困难，这是河北及山东方面的游击战争已经证明了的。”
“在侦探部队出去若干天之后，主力就可准备跟行，在广德、苏州、镇江、南京、芜湖五区之间广大地区创造根据地，发动民众的抗日斗争，组织民众武装，发展新的游击队，是完全有希望的。”
“在茅山根据地大体建立起来之后，还应准备分兵一部进入苏州、镇江、吴淞三角地区去，再分一部渡江进入江北地区。在一定条件下，平原也是能发展游击战争的。”
项英认为毛泽东这个指示很重要，在组织东南分局、军分会的成员学习后，立即转发给各支队，并要负有进军苏南敌后任务的第一、第二支队认真研究执行。
根据中央指示精神，1938年4月，粟裕率新四军先遣支队率先深入华中敌后，开展游击战争。
陈毅和张鼎丞分别率新四军第一支队和第二支队挺进苏南，在中国沦陷首都南京周围的镇江、句容、金坛、丹阳地区和江宁、溧水、告淳及当涂地区，发动群众开展游击战争，摧毁伪政权，进行统一战线工作，初步形成了以茅山为中心的苏南抗日根据地。两支队互相配合，粉碎了日军的多次“扫**”，逐渐巩固了根据地。
谭震林率新四军第三支队开进皖南前线，活动于芜湖、宣城、青阳一带；9月初，受第三战区之命防守青弋江阵地，歼敌400余人；12月，又担负铜陵、繁昌沿江地区的防御任务。
高敬亭率领新四军第四支队于4月底进至舒城、桐城、庐江、无为地区，开展游击战争；7月至10月，在安合公路两侧进行战斗，配合正面战场作战；11月，支队一部进至淮南铁路以东展开游击战争，和新编的新四军江北游击纵队配合，打开了皖中地区的抗日局面。
罗炳辉率新四军第五支队挺进皖东，建立皖东根据地。彭雪枫率领新四军游击支队进入豫东地区，初步打开了豫东抗日局面，为以后豫皖苏根据地的发展奠定了基础。年底，新四军一部在八路军配合下，开辟皖东北和淮海区。
从1938年4月到10月，新四军取得了一百数十次战斗的胜利，有力地打击和牵制了敌人，支援了正面战场的作战，同时积极进行创建根据地地各项工作，为扩大华中根据地、进一步发展游击战争创造了良好的条件。
新四军进入江南敌后前，日军感到其后方安全，从常州、镇江、南京、当涂到芜湖一带，只驻扎两个联队；当新四军进入江南后，积极打敌人，破坏敌人交通，迫敌增兵防卫，从而有力地配合了国民党正面战场的作战。
在随后的几个月里，新四军转战苏皖一带，与敌人进行周旋，并取得了多长战斗的胜利，这为创建华中抗日根据地打下了初步基础。
先遣支队胜利完成任务
1938年4月中旬，粟裕率“浙闽边抗日游击总队”到达皖南岩寺。部队整编为新四军第二支队第四团第三营。二支队下辖第三、第四团。粟裕任二支队副司令员。
这时，尽管新四军未来发展方向的大局已定，但是，刚刚由不同地区奔赴皖南的小股部队集结整编而成的新四军，却面临新的作战对象、新的作战地形与环境，加之对敌后地区的敌情、社情、民情等都不清楚，对如何突破日军封锁线进入敌后地区均不摸底。
为慎重起见，在主力开赴泾县、南陵一带以前，新四军军部决定派先遣支队去苏南进行战略侦察，主要任务是了解和侦察日军、伪军情况，特别是敌人的薄弱环节，了解苏南的地形及风俗民情、群众条件等，附带了解国民党军队的情况，以便于后续部队的开进，同时，积极宣传共产党的抗日救国纲领，宣传持久战的战略方针，开展抗日民族统一战线工作。
毛泽东充分肯定了这种战术安排与行动思路，并于4月24日致电项英：“主力开泾县、南陵一带，先派支队去溧水一带侦察甚妥，惟须派电台及一有军事知识之人随去。”
项英立即同叶挺、陈毅等进行了深入研究与部署，确定从第一、二、三支队抽调部分干部和侦察分队组成先遣支队，共400多人，由第二支队副司令员粟裕任司令员兼政委，第三团参谋长熊梦辉任参谋长，第一团政治处主任钟期光任政治部主任，先期挺进苏南敌后，实现战略侦察。
陈毅深感这个任务之艰巨、以及粟裕肩上的担子之重，便将身边的副官曹鸿胜、测绘参谋王培臣和张铚秀等派去先遣队。粟裕非常感动地说：“陈毅同志把强兵能将都调来给我了。”
1938年4月26日，新四军军部召开了先遣支队到敌后作战略侦察动员大会。项英讲了当前的形势和任务，号召大家紧密团结，发扬艰苦奋斗的作风，一定要把战略侦察任务完成。
接着，陈毅兴致勃勃地作了重要讲话：“奉叶、项军长命令，现成立先遣支队，马上要向东、向苏南敌后进军了。你们这次的任务是了解苏南地区的经济、政治、地理情况，了解当地的风俗民情，团结友军，加强群众工作，开辟新四军主力前进的道路。”“你们是经过艰苦的游击战争考验的部队，是千锤百炼的八省健儿，因此，军部相信你们可以到敌后去发展革命力量。你们都是来自各个游击区的，应该互相学习，取长补短，加强革命团结，在粟司令的统一领导和指挥下，胜利地完成党交给你们的光荣任务。”
会上，项英高兴地将当天到人的新四军政治部主任袁国平介绍给大家。尔后，项英又与叶挺、陈毅等就先遣支队的具体行动又做了进一步的研究与部署。
为增强开展抗日宣传和群众工作力度，又从军部战地服务团抽出熟悉江南民情和苏南群众语言的10名团员，随先遣队行动。同时，还配备电台1部，以便和军部保持联系，把毛泽东的重要指示落到实处。
先遣队出发的第二天，项英就向毛泽东和中共中央长江局做了汇报。而此时粟裕刚刚到皖南仅有几天。他毅然受命，担当起了先遣抗日的历史重任。
先遣支队挺进苏南敌后侦察，从接到毛泽东的批准命令到具体编组以至行动，实际只用了3天时间，速度之快惊人。
先遣支队编成极为精干，下辖司令部、政治处和三个侦察连。成员全是经过十年内战的骨干，干部实行高配，侦察员都是干部，三个侦察连挑选的都是各支队武器装备最好的连队。
1938年4月28日上午，粟裕率领的新四军北上先遣支队从皖南岩寺潜口誓师出发了。几天后。陈毅和傅秋涛率领的第一支队也离开岩寺地区，沿着先遣支队开辟的道路向苏南敌后挺进。
先遣支队向敌后开进越深入，战争的气氛越紧张，越浓烈。出征以来，粟裕总是走在队伍的前列，每天出发前，都要召集大家讲话，明确当天的任务和要求。
一到宿营地就抓紧时间了解社情敌情，勘察地形，做群众工作。夜深了，战士们都休息了，粟裕还在研究情况，部署第二天工作。
粟裕这一年刚好30岁，每天都是满负荷工作，始终精力旺盛，斗志高昂，表现出极强的领导和组织能力。先遣支队到达南陵县城时，受到了当地百姓的热烈欢迎。部队在东门外宿营。因连日的行军疲劳，指战员很快进入了梦乡。
子夜时分，粟裕突然下令紧急集合，指战员们迅速站好队。粟裕说：同志们，我们是富有光荣任务的部队。群众所以欢迎我们，是因为我们不是从前方溃逃下来的，而是向敌人开进的。但也正因为如此，我们必定收到了敌特、汉奸的监视。这里离敌控的芜湖很近，说不定我们的行踪已经被敌人发觉了，敌人很可能对我们发动突袭。因此，我们绝不可高枕无忧，必须立即转移。
不出粟裕所料，天刚破晓，敌人的飞机果然来了，在南陵城东门上空盘旋，狂轰乱炸，俯冲扫射。全城群众都在为新四军担心。
而这时先遣支队早已平安转移到离南陵不远的麒麟桥一带山村宿营了。指战员们被炸弹的爆炸声惊醒，望着东门外腾起的滚滚浓烟，由衷地佩服粟裕料敌如神，指挥英明。
南陵群众发现新四军安然无恙，由惊转喜，奔走相告，都说这支部队是神兵。驻防当地的国民党东北军也称赞说，新四军指挥员有远见，敌人飞机炸了个空。
此外，先遣支队深入敌后，在沿途也遭遇了很多不应有的阻碍，特别是那些一心只想抢地盘的所谓“游击队”，他们对先遣支队更是处处刁难，不让通过。直到5月19日徐州失陷那一天，先遣支队才正式进入苏南敌后战场。
新四军先遣支队抵达江宁铜山镇之后，粟裕部署好部队的宿营与警戒后，就深入群众调查研究，找当地有名望的人士和村长、商人、农民等谈话，了解情况，经常一夜只休息三四个小时。
为了迅速弄清敌情，粟裕不仅派出便衣侦察，还派出三个组进行武装侦察，每组数人到沪宁铁路沿线活动。
一个组经江宁陶吴、秣陵关一线，去龙潭、下蜀等地，了解南京城区方向的敌情；一个组经溧水新桥去金坛、丹阳等地，了解常州方向的敌情；一个组从溧水县乌山越过秦淮河和京杭公路，经句容天王寺，到茅山乾元观，后又经宝埝、上党到四罗、中四罗等地，了解镇江方向的敌情。
武装侦察组迂回于南京近郊，出没于铁路沿线，游击于敌人后方，侦察敌人军事部署和行动，并且测绘了地形图。还将由粟裕、钟期光署名的宣传团结抗日的布告张贴在村镇和交通要道，有的还被带到南京城内张贴。
由于先遣支队善于宣传和发动群众，铜山镇附近的群众和各界人士都表示拥护中国共产党的抗日主张。
粟裕率领的新四军先遣支队走到哪里，就把宣传工作做到哪里，全体指战员人人都是宣传员。先遣支队司令部驻扎在江宁开明士绅业文明家时，粟裕亲自对业文明做了深入细致的思想工作，宣传党的统一战线政策，扩大了新四军的政治影响。
先遣支队到达江宁上峰镇时，群众开始不了解情况，不让新四军干部战士进屋住宿。指战员们冒雨在村前的草坪、麦场上露营，没有惊扰群众。
天一亮，指战员们又主动帮助群众挑水、扫地、开展群众工作。这些行动深深打动了村民的心。一位80多岁的老人感动地说：“我活了80多年，见过清兵、孙传芳的兵和蒋介石的兵，都说‘自古兵匪一家’。但今天我看见了你们这样的兵，和他们都不一样。”
新四军的美名很快传遍江南。乡亲们把战士请到家里做客，协助先遣支队送信、带路、打探消息、捕捉敌探、破坏敌人交通，还出现了牺牲自己生命救护新四军伤病员的动人事迹。先遣支队与苏南人民结成了同生死、共患难的兄弟情谊。
先遣支队进入苏南以后。粟裕几乎天天都要把部队行动和侦察得到的情况电告新四军军部，还亲自动笔写了一份综合报告，派专人送回皖南新四军军部。
粟裕根据战略侦察掌握的大量第一手资料，对江南敌后错综复杂的军事、政治形势和经济情况、社会情况、地利地形和群众条件等，做了极其详细的分析汇报，既提供了在敌后活动的种种困难，又提供了怎样在不利条件下做好工作、开创局面的成功作法和经验。同时还提出了自己对于深入苏南敌后开辟根据地的看法和建议，供中共中央东南分局和新四军军部决策参考。
就在粟裕率新四军先遣支队从皖南出发不久的1938年5月4日，中共中央和毛泽东主席电示新四军，明确指示项英：“在侦察部队出去若干天之后，主力就可准备跟行。在广德、苏州、镇江、南京、芜湖五区之间广大地区创造根据地，发动民众的抗日斗争，组织民众武装，发展新的游击区，是完全有希望的。在茅山根据地大体建立起来以后，还应该准备分兵一部进入苏州、镇江、吴凇三角地区去，再分一部分渡江进入江北地区。”
5月14日，中共中央书记处又对新四军的行动方针作出指示：“根据华北经验，在目前形势下，在敌人的广大后方，即使是平原地区，亦便利于我们的游击活动与游击根据地的创立。我们在那里更能自由的发展于扩大自己的力量与影响”，“在大江以南，创立一些模范的游击根据地，以建立新四军的威信，扩大新四军的影响。”
5月初，陈毅率领的第一支队离开岩寺潜口进抵太平县。陈毅在此向支队干部传达了《五四指示》精神。5月12日有太平北行，经茂陵于18日抵南陵三里店驻扎。在此，陈毅又召开了支队干部动员大会，做了《新的战斗条件和新的战斗任务》的报告。
陈毅强调指出：“只要我们执行模范的群众纪律，开展广泛的统战工作，进行胜利的战斗，就能在敌后生存和发展。”项英也特地赶来参加了这次会议，并阐述了游击战争的战术原则。
5月30日，第一支队到达南陵麒麟桥，为东进做准备。6月1日晚，第一支队越过宣(城)芜(湖)铁路敌人的封锁线，4日到苏南的高淳，8日到溧水新桥与粟裕率领的先遣支队会师。随后，一支队根据江南的地形、社情和敌情，展开部署。
陈毅、粟裕所部新桥会师，按惯例，粟裕把前期工作向陈毅做了长达5个小时的汇报，陈毅对粟裕及先遣支队卓有成效的工作极为满意。
陈毅向粟裕传达了中共中央、毛泽东关于向敌后进军，发动广泛的游击战的《五四指示》精神，粟裕结合亲身实践，更深刻地领会了其战略意图。
粟裕还就江南形势、新四军发展方向等重大问题与陈毅交换了意见。二人看法完全一致，可谓不谋而合。至此，先遣支队东进侦察任务应该就算完成了。
然而，军部又追加了新的任务。6月11日中午，叶军长转发来国民党第三战区司令长官顾祝同的电令：“着该军派兵一部挺进南京、镇江间破坏铁路，以阻京沪之敌，务于三日内完成任务……。”
陈毅按军长电示，当即抽调第一支队第二团第三营第七连与先遣支队3个连同去执行这一任务，由粟裕统一指挥。
6月11日14时，粟裕率部从溧水里佳山冒雨出发，经白马桥到南庄，准备当晚越溧武路北去。
由于受到国民党第七十六师龚旅的阻挠，加上在路南雨中行进途中电台被损坏，需要派出一部兵力护送去茅山脚下修理，因而12日晚方经溧水、天王寺两日军据点之间的方边西侧跨过溧武公路封锁线。
尔后，再经句容境内夏家边、郭庄庙、赤山湖西、谢桥，江宁境内土桥、上峰、句容境内新塘、大卓。三个雨夜急行军，行程125公里。道路泥泞，备尝艰辛，于5日拂晓，到达句北徐家边隐蔽休息。
当夜22时赶到龙潭、高资间的下蜀街，在当地群众帮助下，奋战4个半小时，完成了破坏铁路的任务。破坏铁轨、电线40余米。
16日上午8时，日军一军列驶至下蜀出轨，日军增派7卡车兵力到该处示威，并修复被破坏的铁轨和电线。
完成破路任务后，粟裕率支队安全撤到下蜀南10公里的东谢村宿营。情报获悉，汤山、龙潭、桥头、高资等日军增加了兵力，有于17日搜剿东西谢及普渡桥一带的企图。
另外，根据句容东乡群众反映，镇江、句容公路每天有五六十辆汽车通行，以上午8时至9时及午后16时为最多。而这一带是丘陵地带，小山多，适合打伏击战。经过反复研究，粟司令决定在韦岗伏击日军的一个车队。
地处江苏镇江西南30里处的韦岗，与句容交界，群山峻岭，地形险要，两座100多米高的山岗横卧南北。从镇江到句容，有一条狭长的公路从两山之间穿过，的确是打伏击的好战场。
先遣支队进入敌后以来，如何才能取得群众的信任问题一直困扰着粟裕。“胜仗，只有打胜仗，才能鼓起民众早已失去的信心。”
粟裕在同身边人员交换意见后，决心打一仗，挫挫日军的锐气。粟司令对他们说；“我们挺进江南，第一仗十分重要，一定要打个胜仗。”
粟裕断然决定在韦岗以南高丽山和赣船山口伏击敌运输车队，以小的代价换取大的胜利。对此，粟裕胸有成竹。因为在5月下旬，他亲自来此是侦察过，对地形等周边环境有了相当了解。
16日晚，天雨如注，不便夜行。部队于是到陈武庄西杜榨村宿营。经过几天的急行军、破路，指战员们虽然十分疲劳，但由于完成了任务，士气高昂。
当晚就进行了编组。参战部队由各连抽调6个步兵班、1个机枪班、1个短枪班，各班均配以得力的榴弹手组成。17日凌晨2时，走捷径冒雨开进，在小芦塘稍事休息再做动员并具体分配战斗任务。
17日8时许，日军野战中炮兵第五旅团30余人分乘5辆汽车，由镇江往句容行驶进入伏击圈后，粟裕便高喊一声：“打!”
新四军对日作战的第一枪，终于打响了。当第一辆汽车离战士们只有50米远时，机枪手一个点射，击毙了驾驶汽车的日本兵。
后面的四辆汽车，一辆挨一辆停下，驾驶汽车的日本兵一个个被打死。鬼子被打得死的死，伤的伤。有的鬼子在泥地上挣扎打滚，几乎成了泥人。
这时有两个日本军官右手高举军刀，带领剩下的几个日本兵，嚎叫着向战士们冲来，伏兵从四面八方冲向敌人。日本兵看到自己被包围，准备用刺刀拼杀。
战士们则用刺刀向敌兵捅去，还有的战士抓起烂泥巴往日本兵的面部和眼睛上甩去，有的日本兵眼睛被烂泥巴击中，战士就趁机缴了他们的枪。
随后，粟裕亲自带领大家发起冲击，日军措手不及，丢盔卸甲。激战半个多小时，新四军大获全胜。粟裕判断，敌人的增援部队会很快赶到，当即命令伏击部队撤离战场。
半小时后，从镇江方向开来17辆汽车援兵，还有坦克数辆、大炮数门、飞机3架，但已找不到新四军的踪影了，只得在附近烧杀、轰炸了一番。
17日上午，粟裕率参战人员赶到上元庄与未参战人员会合。当晚进驻句丹公路上的句容县白兔镇附近上兰、贡甲宿营，作战斗都总结。
为了扩大宣传，粟裕派人把缴获的战利品在附近的一所小学校中进行展示，从而让当地老百姓知道新四军是一支能打败日本人的军队。
18日，粟裕率领部队经宝埝镇到前隍村与第一支队胜利会师。粟裕在宝埝镇怡和酒行老板张浩明家地下室里，将两次行动的情况向陈毅作了详细的汇报。
韦岗战斗规模虽不大，但意义却很重大。陈毅起身踱步吟《韦岗处女战》一首，以示祝贺和赞扬：故国旌旗到江南，终夜喧呼敌胆寒。
镇江城下初遭遇，脱手斩得小楼兰。
19日，粟裕又通过第一支队电台向军部做了详细汇报。6月中旬，第二支队在罗忠毅、王集成等人率领下，继第一支队后陆续向苏南敌后挺进的。这时，粟裕率领的先遣支队光荣地完成了使命。
6月21日，先遣支队在前隍村以南的曲阳奉命各自归建。此时，第二支队司令员张鼎丞根据上级安排去了延安，新四军军部命粟裕指挥第二支队。
尔后，粟裕率第二连和第二支队抽调来的干部，经句容、江宁境内西返，6月下旬到达当涂大官圩里马家桥与第二支队司令部会合。
“先遣支队的确起了先锋作用，奠定了我们在江南发展和胜利基础。”项英副军长如此称赞说。
蒋介石亦致嘉奖电给叶挺军长：“所属粟部，袭击韦岗，斩获颇多，殊堪嘉尚。”
粟裕本人亦赋诗一首《韦岗初战》：“新编第四军，先遣出江南。韦岗斩土井，处女奏凯还。”以资纪念。
新四军打响抗日第一仗
1938年1月，新四军军部在南昌成立。与此同时，日军相继侵占芜湖、蚌埠、合肥、巢县等地。驻扎该区的国民党军闻风而逃，纷纷溃退。皖中的老百姓生活在水深火热之中。
为了打击日寇，挽救民族危亡，集结在皖西的新四军四支队奉中共中央之命，挥师东进抗日。战士们翻山越岭，日夜兼程，于4、5月间抵达无为、巢县等地，开始了抗日游击战争。
新四军第四支队先遣营到达巢湖后，侦察队员从当地老百姓口中获悉，巢县城沦陷后，日寇到处烧杀抢掠，无恶不作，不断派出日伪军下乡“扫**”。
日军坂井支队侵占巢县后，四处骚扰，残杀百姓，他们将掠夺来的大米和物品，大船小船地运进县城，然后从淮南铁路运往各地，支撑日军的侵略战争。
战士们听了群众的控诉后，怒火冲天，决定必须给疯狂的日寇一点颜色看看。时任第四支队司令员的高敬亭令九团政委高志荣和参谋长唐少田率领侦察队和二营进入巢县侦察敌情，寻找战机。
该团指战员大多是经过3年游击战争锻炼的老红军，虽然装备差，但政治坚定，作风顽强。而银屏山方圆百里，山岭险峻，有险可守，是隐蔽和出击的好地方。
第九团到达银屏山后，副团长高志荣即派侦察员深入察访，了解敌情。
他们从当地百姓那儿获悉，自巢县沦陷后日寇经常下乡“扫**”，蒋家河口一带是他们经常出没的地方。该河口位于巢县东南5公里。河口杂草丛生，芦苇茂密。高志荣决定在此设伏，让侵略者尝尝新四军的铁拳。
为进一步了解敌情，高志荣特意让侦察员化装到蒋家河口暗中侦察了3天，通过反复侦察，掌握了敌人的活动规律：日寇每天上午八九点钟都要到蒋家河口一带骚扰。他们从巢县出发，乘一两艘汽艇或木船，人数为10到30人不等，抢掠后于午饭前返回。由于从未遇到过抵抗，其戒备十分松懈。
掌握情况后，第九团拟定了详细的歼敌计划。5月11日傍晚，部队像一把利剑直插蒋家河口。5月12日拂晓，战士们按预定计划完成了设伏。
上午8时左右，巢县方向的河面隐约传来汽艇的嘟嘟声，大家顿时警觉起来。这时天气晴朗，河面上没有来往船只，岸上也不见行人。
汽艇渐渐驶近，战士们已能清楚地看到鬼子们头上的钢盔和步枪上闪亮的刺刀。一位指挥员数了数船上暴露出来的日军，小声对战士们说：“不多，也不少，一个也不要放过！”
汽艇靠岸了！毫无防备的鬼子一个个倒背着枪，哼哼呀呀地唱着歌，大摇大摆地上了岸。见此情景，设伏的新四军个个把牙齿咬得咯咯作响。
新四军指挥官数着跳下汽艇的日军，一个、两个、三个、四个、五个……当数到第十五个时，大喊一声：“打！”步枪、冲锋枪一齐猛烈开火，日军一个个应声倒地。
打侧攻的四连一排听到侦察队枪响，从北侧高地勇猛地包抄过去，高喊着：“冲呀！杀呀！活捉鬼子呀！”四连一排一面包抄登陆之敌，一面又分出一队打击滞留船上的日军。
日军猝不及防，乱作一团，登上岸的日军还没搞清枪子儿从哪里飞来，一个个就中弹倒地。在汽艇上还未上岸的日军，慌乱中失去控制，造成汽艇急剧摇晃，在河里打转，丧失了还击力，一个个中弹落水。
这一战，九团二营仅用了二十分钟就结束了战斗，二十余名日军全部葬身蒋家河口，新四军缴获轻机枪一挺，步枪二十余支，手枪一支。消息传开，群情激奋，裕溪河一带群众从四面八方涌向蒋家河口。
第二天，新四军同志拿了一支缴获的步枪和一套日寇军装，到邻近的国民党军司令部去送礼，国民党副军长接见时，问道：“贵军是几个团打的？”回答是：“一个组。”
那个副军长根本不相信，他后来向目睹战斗情况的农民几番询问，才无可奈何地承认了：“新四军打得好。”次日，蒋介石通电嘉奖了新四军。
蒋家河口战斗是新四军组建后在抗日战场上打的第一仗。首战告捷，军威大振。5月15日，《新华日报》率先公布了这一消息。
华中抗日局面逐步打开
1938年9月29日，就在新四军各个支队先后挺进敌后，在大江南北迅速展开的同时，中共中央在延安召开了党的六届六中全会，项英也赶到延安，参加了这次会议。
会上，毛泽东指出：“为了准备转入新阶段，应把敌后游击战争大体分为两种地区。一种是游击战争充分发展了的地区如华北，主要方针是巩固已经建立了的基础，以准备新阶段中能够战胜敌之残酷进攻，坚持根据地；另一种是游击战争尚未充分发展，或正开始发展的地区，如华中一带，主要方针是迅速地发展游击战争，以免敌人回师时游击战争发展困难。”
基于此，最后会议确立了大力巩固华北、发展华中的战略方针。
发展华中不仅是新四军的战斗任务，而且是全党全军的共同任务。为了实现“发展华中”的战略方针，党中央在组织上、军事上、政治上采取了一系列措施。
党中央决定：一是撤销以王明为书记的中共中央长江局，以周恩来为书记的南方局代替对新四军的指导；二是成立中共中央中原局，派刘少奇来华中加强对贯彻“发展华中”战略方针的领导。三是抽调八路军南下协同新四军“发展华中”。
项英虽一度参加了党的六届六中全会，但对全会精神缺乏全面理解。回皖南后，对“发展华中”并无积极布置。为此，中共中央决定派周恩来亲自到皖南，向新四军传达党的六届六中全会精神，统一新四军领导干部的思想。
1939年2月，中共中央军委副主席周恩来到皖南视察，与新四军领导人商定了“向南巩固，向东作战，向北发展”的战略方针。
为了适应发展华中抗日战略任务的需要，进一步开展长江以北、淮河以南广大地区的抗战局面，加强新四军对这一地区的领导，经中共中央批准，1939年5月5日，在新四军军长叶挺的主持下，在安徽庐江东汤池新四军第四支队驻地，成立了新四军江北指挥部。
新四军江北指挥部由张云逸兼任指挥，徐海东任副指挥，赖传珠任参谋长，邓子恢任政治部主任，同时成立了以张云逸为书记的中共江北指挥部前委。江北指挥部下辖第四支队、以原第四支队第八团为基础组建的第五支队，以及江北游击纵队。
不久，第四支队挥师北上，创建了津浦铁路以西的路西抗日根据地；第五支队则开赴津浦铁路以东，开辟了以来安县半塔集为中心的路东抗日根据地；江北游击队仍坚持以巢县、无为地区的抗日斗争。
经过两个月的连续战斗和发动群众，新四军江北部队初步打开了皖东敌后抗战的局面。
在江北部队打开局面的同时，江南的新四军也积极行动起来。1939年8月，新四军第二支队司令员张鼎丞已赴延安，新四军军部决定第一、第二支队由陈毅统一指挥，并增设新四军江南指挥部建制，统一领导第一、第二支队。
第一支队派出第六团向苏南东部发展，与当地的抗日武装合编为江南人民抗日义勇军，直抵上海郊区。江南人民抗日义勇军西撤到长江中的扬中县与挺进纵队合编，并向苏北发展。10月，第二支队第四团一部北渡长江，在扬州以西改编为苏皖支队，打通了与第五支队的联系。
11月7日，新四军江南指挥部在溧阳水西村公开宣布成立，指挥陈毅，副指挥粟裕，参谋长罗忠毅，政治部主任刘炎、副主任钟期光。指挥部辖第二团、新六团、第四团、挺进纵队和地方武装，共1.4万余人。
11月14日，第四团团部及第二营组成为苏皖支队，渡江北上，1940年2月与先期过江的挺纵第三团合编，仍称苏皖支队。5月，新四军江南指挥部重新组建第三团、第四团。
这一时期，新四军还增加了两支部队。1938年9月30日，在河南省确山县竹沟镇组建的新四军游击支队东征，开辟了豫皖苏边区抗日根据地，1940年2月正式改称为新四军第六支队，辖3个团和4个总队。
1939年1月，在竹沟组成的新四军豫鄂独立游击大队向武汉外围挺进，先后与豫南、鄂中、鄂东的抗日武装合编为新四军豫鄂独立游击支队、新四军豫鄂挺进纵队，开辟了豫鄂边区的抗日根据地，辖5个团队和3个游击总队。
1940年春，中共中央、中央军委作出八路军应派部队与新四军合力发展华中的部署。八路军第二纵队主力和苏鲁豫支队、陇海南进支队先后越陇海路南下，与新四军第六支队合编为八路军第四、第五纵队。第四纵队执行向西防御任务。第五纵队执行向东发展任务。
7月，新四军江南指挥部率主力北渡长江，改称苏北指挥部；10月在取得黄桥决战的胜利后，与南下支援的八路军第五纵队会师。
11月17日，在江苏海安成立华中新四军八路军总指挥部，叶挺任总指挥，陈毅任副总指挥并代理总指挥，中共中央中原局书记刘少奇任政治委员，统一指挥陇海路以南、长江以北的新四军和八路军部队。留在苏南的新四军第二支队领导机关，组建了新的江南指挥部。
新四军在战斗中不断发展壮大，到1939年底已有49901人，1940年底扩大到88744人。