除了山顶由第4军1个加强营守备以外，其西侧还有第4军第102师和第306团，东侧为第58军新编第11师的1个步兵营，总兵力约为五千八百余人，另外这里还驻有一个加强机枪连。鉴于日军活动频繁，第九战区司令部命令第4军立即对对面的日军进行密切监视，必要时可以派出小部队向日军后方袭击，破坏其交通设施。

大云山紧靠新墙河战场，第四军的小部队袭扰令日军极为不安，日军第11军司令部经过商议，认为大云山的存在已经严重威胁到了大日本皇军的侧翼安全，为了保证“加号作战”计划的顺利实施，掩护第十一军主力向新墙河以北集结，阿南惟几命令原在岳阳地区担任守备的第6师团对大云山进行扫荡，解除这一侧后威胁。

4月4日晨，日军第6师团第23、第45联队在航空兵支援下从忠坊向大云山北侧雁岭、詹家桥展开进攻，遭守军阻击后向东南侧迂回;其第13联队向大云山西侧进攻，与守军第102师发生激战。

同时、第九战区第27集团军还侦察到鄂南咸宁地区日军第40师团有向湘北调动的迹象，作为老对手。他们对日军的一举一动还是比较清楚地，因此判断第40师团背上肯定是为了与第6师团换防，日军向大云山的进攻，是换防前的例行攻势。

为了确保大云山方向的安全，4月4日上午十点整，第九战区命令第58军派出部队协同第4军作战，并命令第20军准备从通城向西侧击日军，乘日军换防时给以打击。

对于日军第6师团，第九战区向来是比较忌惮的的。这个日军师团日本陆军的一个甲种师团，是日军在二战爆发前17个常备师团之一，装备较精良，战斗作风野蛮彪悍，尽管在历次与中国陆军的对阵中屡次遭到重创，但是其战斗力却并没有下降多少。

这次第六师团主力抵达大云山东侧之后，便迅速向东侧的守军展开猛烈进攻，大云山东侧的守军仅有第58军新编第11师的1个步兵营，兵力不足400人，面对日军第六师团的进攻，守军虽奋力抵抗，但因日军兵力、火力均处于优势，堵击无效，乃弃守大云山阵地。

日军在占领东侧阵地之后。以此为据点。向山顶以及西侧阵地发动猛攻。甚至还调来航空兵协同作战。激战一昼夜，守军损失惨重，但是依然坚守阵地。

次日，。第六师团主力一部在装甲车的掩护下向大云山西侧阵地发动进攻，然大云山海拔虽然不高，但是地势却很险峻，日军的装甲车只前进了不到300米就被阻于阵地前沿，在损失了20余辆战车之后日军不得已停止了进攻。

然而日军第六师团师团长神田正种中将对于第六师团的表现极为不满，当场勒令一个进攻不力的小队长剖腹自尽，同时授权前线部队可以使用特种弹。尽管在日本政府与马铮所部签订的协议中，双方在战场上都严禁使用特种弹，但是这个协议也就是在北方执行的还算比较彻底，日军一般不敢使用毒气弹和其它脏弹。以防遭到马铮所部的报复。

但是在华中华南地区，这个协议就没那么管用了，虽然不到万不得已日军也不会使用毒气弹，但是由于缺乏监督，一旦进攻不顺利，日军还是会铤而走险，故态萌发的。

对此，不管是国民政府还是马铮都是一点办法也没有，日军一旦决定使用毒气弹，为了不被抓住把柄，往往会不惜一切代价消灭证据的，所以即便是知道日军使用毒气弹，也很难收集到他们的证据。

在毒气弹的协助下，日军终于攻占了大云山西侧的阵地，鉴于日军来势凶猛，第四军不得已只得命令山上的部队后撤，弃守阵地，大云山失守。