大约一个月后，翻译组印出了四本《苏联阴谋文件汇编》，送给张作霖的是一套特制线装本，封面和书套都是用黄缎子做的。虽然里面仍然没有暴动的材料，但在张作霖看来，也算是“人证物证俱全”，所以他看了很高兴。
搜查俄国兵营是件牵涉外交的大事，据说英美使馆就不同意，他们认为东交民巷是使馆区，有治外法权保护，中方搜查人员无论是穿制服还是穿便服，都违反了国际法，破坏了多年的传统、常规、惯例。
4月8日，上午8点多，二十名搜查人员开始行动，其中的十人装作在马路边晒太阳，实际是望风，同时阻止中国人进入（但对外国人则不加阻拦），另外十人跳墙闯了进去。听到外面有动静，李大钊等人立即焚烧文件，但因为文件系上等纸张印制，不容易烧着，所以当对方闯入时，仍未烧透。搜查人员将火扑灭后，从中查出了很多带有烧痕的文件，里面有中文也有俄文，有一些内容非常机密。接着，所有原在屋内的人都受到了搜查，被认为是不相干的人经询问后就放走了，李大钊等人则未能脱险。最后，李大钊承认他是国民党（当时国共合作，共产党全体加入国民党，对外也以国民党员为公开身份），从事着革命工作。
在内政问题上，张作霖对外国的态度向来并不特别买账，杀与不杀还是取决于他自己，而与此同时，社会各界也早已展开了积极的营救行动。梁漱溟闻知李大钊被捕后，即自西郊入城拜访章士钊，提出愿与章士钊一同出面，先将李大钊的家眷保释出来，以免李大钊挂念（实际其家眷并未被捕）。
首先窥探出秘密的是法国人。俄国兵营的西隔壁有一座法国医院，医院的值班人员经常在晚上听到兵营里传来大声争论的声音，于是便报告给了法国使馆。法国使馆一面向亲法的外交次长吴晋通报，一面与日本使馆进行联系，双方达成一致，支持北京政府对俄国兵营进行搜查。
张作霖听后，便令吴晋调集相关人员，对抄到的俄文文件进行翻译。翻译人员以张作霖的御用俄文翻译、外交官张国忱为首，分成两个组，每组各五人，日夜加班翻译文件。大家忙了一个多礼拜，却并没有发现有组织的暴动计划和苏联准备出兵的材料。诚然，文件中有军情报告，比如记录东北军将领王树常在哈尔滨驻军，共有兵力多少，还有其他军队的一些驻扎情况，但这些并不足以说明人家要进行暴动。
接获复电，张作霖遂下令对李大钊等二十名国共被捕人员处以死刑。1927年4月28日，李大钊英勇就义。当天，他毫无惧色，泰然自若地走向绞刑架，表现出了一个共产党人所具有的风骨和浩然之气。
张作霖的一双手从此沾染了革命志士的鲜血。
章士钊言出必行，当下就先找了张学良、杨宇霆。他对张、杨说，共产主义在中国国内，尚处于空洞谈论理论的阶段，“不宜穷治”，因此可以判处李大钊等人有期徒刑，并准许其带上《资本论》等书籍，移押沈阳监狱。这些人当中情节较轻的，甚至可径行开释，如此“既可遏止党人活动，亦可免生枝节”。
众人为此大失所望，可张作霖偏偏还天天催问进展：“搞出来什么没有？”张国忱在无可奈何之下，只好利用晚上陪张作霖吸鸦片烟的时间，让张作霖宽限时日，说这么重要的事，哪能很快搞完。
英美从一开始就反对到东交民巷进行搜查，曾要求北京外交部认真清查搜出的文件，看里面是否有外交文件，如果有，外交文件是神圣不可侵犯的，不能擅动。涉及对李大钊的处理，两国都提出李大钊不够判处死刑的条件，因为文件里没有发现有搞军事暴动的材料，可以从轻处理或释放。日法则与之意见相左，他们坚决主张杀掉李大钊。
李大钊白天接待访客，晚上写文章和做报告，这曾一度瞒过日本使馆——日本使馆距苏联使馆、兵营都不太远，他们发现俄国兵营常有人进进出出，形迹可疑，但因为不了解夜间的情况，所以并不敢轻举妄动。
张学良点头答应，杨宇霆当场也同意了，章士钊大喜，于是便与张、杨一同求见张作霖。张作霖听后踌躇良久，说这件事不能独断，必须与前方的十一名将领商量后才能定夺。
章士钊是个聪明人，马上就知道张作霖是在推托，解救李大钊已经无望。尽管如此，他仍抱着一线希望，请张作霖分别致函各将领，而不要以联衔通电的方式。
直到搜查结束，吴晋才就这一行动向张作霖进行报告。他告诉张作霖，北伐军是“由苏联派的鲍罗廷组织共产党人参加的军队”，其任务是要“消灭北京政府，搞共产主义的无产阶级专政”。按照吴晋提供的说法，李大钊等人潜伏在俄国兵营内，任务就是要组织暴动。
张作霖分别去函不久，多数将领就发来复电，称李大钊等国共党人并非仅空谈理论，实际都是北方罢工罢学的组织者，还说前线部队在“讨赤”战役中不知伤亡了多少人，李大钊既是共产党的首领，“不置诸法，何以激励将士”？
尽管英美提出了抗议，但在法日两国的支持下，吴晋仍与警察总监陈兴亚等人共同做出了突击搜查的决定。为了避免引人注目和遭到英美的干涉，参与搜查的人员一律不穿制服，不带武器，每人身着一件中式斜大襟的蓝褂子，褂子长至膝盖以下，乍一看，就好像是一群仆人一般。他们还在领口右边的扣子上拴一根一寸长的白线条，用以识别彼此的身份。
章士钊是交好军政各界的社会知名人士，段祺瑞当政时曾以之为核心幕僚，他刚刚由天津赶到北京，为的也是对李大钊进行营救。当着梁漱溟的面，章士钊把胸脯一拍，表示自己与张氏父子、杨宇霆都很熟，只要他去打招呼，不但李大钊的家眷不会受到连累，就是李大钊本人也可免于被害。
