经过反复斟酌，中国政府决定保持中立。1904年2月12日，慈禧太后以光绪皇帝的名义发布圣旨：“日俄两国失和用兵，朝廷轸念彼此均系友邦，应按局外中立之例办理。”
随着战争的逐次展开，日军开始占得主动。张作霖马上顺风转舵，对黑泽兼次郎的态度又似乎变得热情起来，还安排对方住到自己家里。那段时间，黑泽兼次郎送给张作霖不少枪支弹药和金钱，而张作霖则投桃报李，把在俄军身上做过的事，重新复制一遍给日军。
沙俄有一个“黄俄罗斯”计划，其主旨是通过实施殖民政策，将东三省变成它的“黄俄罗斯”。至1903年年底，俄国在东北的武装移民已超过三万人，“黄俄罗斯”计划距离大功告成也只剩下最后一步，即迫使中国将东北名义上的主权交给它。
除了“胡子”外，东北地区凡握有兵权的中国军官同样受到日俄的关注和拉拢，张作霖自然名列其中。只是张作霖曾经在这里面吃过亏、上过当，早就已经学得精明无比。他既不像有的地方官那样谨小慎微，除了恪守中立，不敢越雷池一步，又不肯像冯麟阁和金寿山那样，明目张胆地为日俄某一方出力，而是把算盘珠子打到啪啪响：你们都有求于我，这事没错吧？好，废话少说，先把好马好枪和粮饷送来！干什么？吃好睡好装备好，才能为你们干活啊！
日俄战争爆发后，日俄双方一边拼命厮杀，一边延续以往政策，对“胡子”竭力进行拉拢和训练，以使之作为本国正规军的辅助力量。被它们拉过去的“胡子”也依照原名，亲俄的称之为“花膀子队”，亲日的称之为“东亚义勇军”或“满洲义军”。
日本人也没忘记昔日的绿林魁首冯麟阁。战前冯麟阁已被从库页岛解往西伯利亚的一个苦力营关押，每天要下矿挖煤，干着牛马一样的活。不久，“王小辫子”收买中国通事（即翻译），把他从苦力营里营救了出来。冯麟阁回到奉天后重操旧业，而且从此铁了心要跟“老毛子”干到底。
同样是招人，俄国不管是手段、战术还是投资，都远远落后于日本。一般俄国官兵将东北人一律蔑称为“满子”，即便是对待“花膀子队”亦不例外，对方稍有不顺从或不满情绪流露出来，他们就会当众拳打脚踢，施加侮辱，致使这些“花膀子队”也在不知不觉中对俄国人产生出强烈的不信任感。日方间谍人员正好利用这个矛盾，乘虚而入地将一些“花膀子队”拉过去，又将他们变成了“东亚义勇军”。
当时受日本参谋本部之命，日本驻满洲军司令部参谋福岛安正专门负责东北的情报工作。他很重视拉拢张作霖，为此派遣了司令部翻译黑泽兼次郎率“特别任务班”到新民府进行活动。可是黑泽兼次郎可以明显感觉到张作霖对他们不抱好感，有时根本就不把他们当一回事。
张作霖非常清楚日俄的用心以及自己的定位，不管日本人给多少好处，他都没有选择向日方一边倒。有一天晚上，在和几个得力部下讨论时局时，他还特地谈道：“我们要把握好风向，小日本虽然取得暂时的胜利，但俄国大鼻子在东北待了这么多年，而且凶猛好战，最后可能还是大鼻子要赢。”
在自身无力直接对抗的情况下，中国和朝鲜都不约而同地采取了大国制衡的策略，中国是“以日制俄”，朝鲜是“以俄制日”。日俄虽然有时也想各取所需，达成妥协，但双方在贪心欲念的驱使下，就好像老米饭一般，怎么捏都捏不成团，最后终于翻脸打了起来。
吃客、用客，你还要耍客，当我们全是二傻子！黑泽兼次郎越想越恼火，决定找机会杀掉张作霖。回到满洲军司令部后，他向福岛安正透露了这一想法。福岛安正老谋深算，听后赶紧说：“现在张作霖正为我军效犬马之劳，要留着他加以利用，不可对他轻举妄动。”
按照福岛安正的指示，黑泽兼次郎不但暂时打消了原先杀掉张作霖的念头，而且又在对张作霖进行拜访时，送去银币一千元，以坚定张作霖为日军效劳之心。当然他们也没有忘记防患于未然，此后黑泽兼次郎便留在了新民，专门负责监视张作霖的一举一动。
日俄之间开打，陆战战场却在中国东北境内，中国究竟应该采取何种态度，让朝廷上下颇费思量。以北洋大臣袁世凯为首的一派意见认为，中国不能参战，也不能帮着日俄任何一方：如果帮助日本，俄国就会以此为由派陆军在中国西北采取行动，同时一旦俄军战胜后，作为战败国的中国就只能将东北的名义主权乖乖割让给俄国；如果帮助俄国，日本海军会对中国东南沿海构成威胁，一旦日军战胜，东北又将沦为日本的口中之食。
张作霖再怎么表现得英勇无敌，终究还是不敢碰杜立三，而增祺也无法再对他下这样的命令了，因为这位将军早已自身难保——俄军又一次占领奉天，对东三省进行强制军事管制，增祺被囚禁了起来。
张作霖后来回顾道：“日俄打仗，洋鬼子打算利用我们。我们为了得武器，有时也被他们利用。那时我是得抢就抢，得骗就骗，都是为了武装自己。”
战争初期，俄军的实力看上去更为强大，按照张作霖的估计，“小日本不能打败俄国大鼻子”。基于这一判断，他虽然也天天把政府的中立政策挂在嘴边念叨，但实际却阳奉阴违，跟俄国人套起了近乎——一边接受俄军贿赂的钱财和军械，一边暗中帮助俄军搜集粮草，或者供应一些情报，有时甚至还会让手下人冒充“花膀子队”，对小股日军进行偷袭，趁火打劫地从日军手里抢夺一些枪弹马匹或者粮秣柴草。
万没想到，隔窗有耳，黑泽兼次郎是个高级间谍，这段谈话居然被他偷听到了。对于从前在张作霖那里受到的冷遇，他本来就很是不满，现在一听，才知道张作霖实际一直在脚踏两只船。
日军在辽阳南首山遭到俄军抗击，屡攻不下，部队伤亡惨重。冯麟阁和金寿山遂将所部的几千骑兵组成“义勇军”，从辽河以西挺进，抄袭首山俄军阵地的右侧背。俄军措手不及，只得放弃首山，向北败退，日俄战争的胜败之局也由此奠定。
对日方来说，冯、金是为他们立下了很大的战功。日本军事当局特地奏明天皇，奖给两人各一枚宝星勋章，过后又电请中国政府对这两大帮派予以收编重用。
