1878年任参谋本部次长。1880年任陆军卿。1882年任参议兼参谋本部长。1885年成为日本帝国首任陆相。1891年晋升陆军大将。力主把学习的方向从法国陆军改为普鲁士陆军，为此把批坚持学习法国的陆军将领谷干城、曾我佑准、鸟尾小弥太、三浦梧楼等清洗出军队，保持了陆军的团结。1894年作为陆军大臣，大山岩与伊藤博文等人组成战时大本营，共同制定侵华作战方针。积极参与策划发动中日甲午战争，战争爆发后任第二军司令官，指挥攻占中国金州、旅顺和围攻威海卫等战役，是旅顺大屠杀的首要罪魁；并于1895年4月和日本联合舰队一起参与并接受北洋舰队的投降仪式。

1898年名列元帅府，成为首批日本元帅。1899年任陆军参谋总长。在桂太郎和儿玉源太郎的分别培养使用，专任田村怡与造为参谋次长等决策上均起了一言九鼎的作用。1904年日俄战争爆发后任满洲军总司令官，依靠凌厉而变换莫测的攻击路线，张弛有度的战场控制节奏，指挥日军在辽阳会战、沙河会战、旅顺围攻战和奉天大会战中将数量居于优势的俄军打的一败涂地，为最终获得战争胜利奠定基础。与同藩出身的东乡平八郎并称为“陆之大山，海之东乡”。

从这一系列事例中，可以看到大山岩其人的世界性战略眼光，反之则是大山岩其人，率领日军对中华民族侵华战略行动中，犯下的累累罪恶，对中国人民造成了尸山血海伤害，这都说明了中国需要后世中国解放军那样钢铁纪律部队和国防意识。

1907年封为公爵。1912年退役，同年受命成为9位日本元老之一。1915年出任内大臣。1916年他忍受着胃病的折磨陪同大正天皇参观了在福冈县进行了的陆军特别大演习，在归途中并发胆囊炎。12月10日在病床中听着《雪地进军》的音乐中去世。终年74岁。临终时许多军政要员都来看望他，其中包括陆军第一元老山县有朋、议定官川村景明、总理大臣寺内正毅、陆军参谋总长上原勇作、退役的陆军大将黑木为桢等，一直守候在他床边直至其去世。12月17日举行国葬，当时驻日俄罗斯大使及武官的代表全俄罗斯陆军向他致悼词，并亲自在灵前供奉了花环。受到了来自以前的敌国的武将的这样的郑重其事的吊唁的，只有大山和后边的东乡平八郎二人。

这是第三，可以想见大山岩对日本军政界，以及在欧洲军界的巨大成就和世界性影响力。

有这样的，在欧洲军界的巨大成就和世界性影响力的中国将领，也只有在后世中国人民解放军中的高级将领和大元帅了吧。

尊重敌人，也是尊重自己，让我们看到敌人的长处和短板时，也要看清自己的长处和劣势，这才是我们中国人民解放军，大无畏牺牲的革命精神，战无不胜、攻无不克的基石。

而大山岩在金雨启用后世中国的经典战法，滴水不漏的防御，无处不在的游击战术，是经受过血腥的实战检验的的，大山岩遇到了金雨训练的部队，在实战中就像克星似的，一直压制着日本军队，在各个方面打击着日本军政府。

现在日本本土，更是受到中国南方和东北两方面军队的克制性、压迫式打击。日本本土的防御圈，被中国国防军，以点破面的撕开了一个小小的突破口。

这让大山岩大将，必须接受被动式的防御，不然其前期在长崎湾的就等于在做无用功，同时浪费大量的人力、物力、财力。也让大山岩泛起了深深的无力感。