在日本，苏曼殊住在刘师培家中。一天晚上，曼殊忽一丝不挂，赤身闯入刘的卧室，手指洋油灯大骂，刘氏夫妇莫名其妙（但有人认为曼殊此举是骂刘氏夫妇，当时刘氏夫妇正准备投靠端方，叛变革命）。
苏曼殊在长沙实业学堂的同事杨性恂回忆：“香山曼殊居士，姓苏，名玄瑛，十年前与余同任湘中实业学堂讲席。除授课外，镇日闭户不出，无垢无净，与人无町蹊。娴文词，工绘事，然亦不常落笔，或绘竟，辄焚之。忽一日，手笻（音穷，竹名）杖，著僧服，云游衡山，则飘然去矣。”
苏曼殊说：“我生性不能安分，久处一地，甚是沉闷。”他一生飘零，居无定所，在一处居住，必不超过一年半载。有人说曼殊之“状貌踪迹，令人叵测”。1911年夏，苏曼殊从爪哇返回国内，到达广州后拜访蔡哲夫，因航程中未曾整理妆容，须长盈尺，蔡一时竟未能认出，直到听其声音，方知为曼殊。不久，曼殊便北上，随即寄来一张与马小进同摄的照片，俨然又是一翩翩少年了。
苏曼殊曾断炊数日，在床上辗转呻吟。友人来访，见此情形，叹曰：“我迟来一步，不意君为饿殍！”为之具炊饭，并赠以百金。数日后，友人又来看望，见他卧榻呻吟如故，以为他绝食自弃。曼殊喃喃解释道：“我得你相助，腹饥既解，欣然行于市，见有自行车构制精美，十分喜欢，便买了一辆。又遇到一个乞丐，不食已三日，便倾囊相赠。”友人问道：“你不会骑自行车，为何要买？”他答道：“无他，从心所欲而已。”
一次，苏曼殊作《远山孤塔图》，画成后正要焚毁，被同事李文昭发现后奋力夺下。曼殊说这幅画是他为去世的女友所绘，一定要焚烧，允诺为李再绘一幅。李答：“等你画好后，立即奉还。”遂拿着画离开了。不久，曼殊离开，这幅画也就得以幸存于世。
一次，苏曼殊生病住院，病愈后，因衣物已经典当罄尽，无法出院。友人某君前去探望，见他气色尚好，问为何不出院，曼殊据实以告：衣已典当，总不能赤条条步出医院。友人立即赠十元大洋，让他购置新衣。曼殊见报上刊登有新出的德国玩具的广告，便立即叫人去买，花尽友人所赠。买回后，曼殊坐在病榻上，拿在手中玩弄不置。此时又一友人前来看望，见后大赞：“这……真好！”曼殊说：“你说好，我便送了你吧。”友人惊讶道：“我说好，并不便是想据为己有。”曼殊说：“如你不受，便不是诚心赞赏；如是诚心赞赏，你便不能不收下。”友人只好收下离去。几日后，赠钱的某君又来看望，曼殊依旧赤条条躺在病榻上，一如未受赠之初。
苏曼殊翻译雨果的《悲惨世界》，陈独秀为之润饰。陈说，曼殊所译对原作很不忠实，乱添乱造，根本谈不上“信”。从第七回的后半回到第十三回的前半回，索性另起炉灶，自己塑造了一个革命侠士明男德，大骂皇帝是“独夫民贼”，“孔学是狗屁不如的奴隶教训”，公然藐视“上帝”、“神佛”、“道德”、“礼仪”、“天地”、“圣人”。
苏曼殊经常招校书而来，却又瞪目凝视，久无一言，随即遣之而去。为此不少校书在私下议论曼殊：“和尚真是个疯子。”
有夏某在上海与苏曼殊有过交游，据他对何世玲说，曼殊终日独卧，将帐子深深地垂着，他在帐子里，只是不断地吸着烟卷。枕边摆了几本破旧的洋文小说，此外帐内帐外再找不出一本书了。
1912年8月，在日本的苏曼殊寄给柳亚子一封信。柳拆信后，见抬头称谓为某君，信中内容不知所云，便转寄给胡寄尘，发表在《太平洋报》上，即为《复某君书》。此某君不知为何人，信中所提及的丹凤山、珠帘瀑、玉娘湖、沙陀江、樟溪、枫峡等地，柳亚子问过在日本居住近十年的老留学生，均说不知道。此信中所言，颇有小说风味，与曼殊小说《天涯红泪记》相似，柳亦无从判断真假。
杭州西湖白云庵的意周和尚回忆苏曼殊：“苏曼殊真是个怪人，来去无踪，他来是突然来，去是悄然去。你们吃饭的时候，他坐下来，吃完了自顾自走开。他的手头似乎常常很窘，老是向庵里借钱，把钱汇到上海一个妓院中去。过不了多少天，便有人从上海带来许多外国糖果和纸烟，于是他就不想吃饭了，独个儿躲在楼上吃糖、抽烟。他在白云庵，白天睡觉，到晚来披着短褂子，赤着足，拖着木屐，到苏堤、白堤去散步，有时直到天亮才回来。他除了吟诗外，也喜欢画画。他画得很多，纸不论优劣，兴之所至，手边的报纸也会拿起笔来涂鸦。不过若有人诚心诚意地向他去求画，他又变得非常矜贵了。”
某日，苏曼殊不知从何处得一女郎明信片，乃故意夸扬，写了一篇《碧迦女郎小传》，并乞友题诗张之，仿佛真有其事一般。
胡朴安回忆：“子谷其行似狂，其志实狷。今之人洁白如子谷者，诚不多觏也。不甚解世事。一日，余赴友人酒食之约，路遇子谷。余问曰：‘君何往？’子谷曰：‘赴友饮。’问：‘何处？’曰：‘不知。’问：‘何人招？’亦曰：‘不知。’子谷复问余：‘何往？’余曰：‘亦赴友饮。’子谷曰：‘然则同行耳。’乃至啖，亦不问主人，实则余友并未招子谷，招子谷者另有人也。其行事往往类此。”
苏曼殊好赌，且赌法迥异他人。如他初入局时，押的是天门，则到最后还是押天门，且无论输赢，别人不散，他始终不肯离座一步。
孙伯纯回忆，苏曼殊见某人不修边幅，和服反衽，笑其为名士派，而不自知己亦为名士派，行事不循常规。偶有所蓄，便谓若炸弹在囊，必速去之始快。但偶观其日记账中，则又记数明晰，不留锱铢，真谓贤者不可测也。
马仲殊在《曼殊大师轶事》中记载：“曼殊善绘事，每于清风明月之夜，振衣而起，匆卒间作画。既成，即揭友人之帐而授之。人则仅受之可耳；若感其盛意，见于言词，语未出口，而曼殊已将画分为两半矣。”
苏曼殊认为，吃什么类什么，吃牛肉喝牛奶会性情类牛。他曾写信劝说在美国纽约哥伦比亚大学留学的朋友邓孟硕不要吃牛肉、喝牛奶，改用腐乳配面包：“唯牛肉、牛乳劝君不宜多食。不观近日少年之人，多喜牛肉、牛乳，故其性情类牛，不可不慎也。如君谓不食肉、牛乳，则面包不肯下咽，可赴中土人所开之杂货店购顶上腐乳，红色者购十元，白色者购十元，涂面包之上，徐徐嚼之，必得佳品。如君之逆旅主人，询君是何物。君则曰红者是赤玫瑰（cheese）；彼复询白者，则君曰白玫瑰（cheese）。此时逆旅主人，岂不摇头不置，叹为绝品耶？”
刘师培一次在西湖畔的韬光寺惊见刚别三日的苏曼殊：“尝游西湖韬光寺，见寺后丛树错楚，数椽破屋中，一僧面壁趺坐，破衲尘埋，藉茅为榻，累砖代枕，若经年不出者。怪而入视，乃三日前住上海洋楼，衣服丽都，以鹤毳为枕，鹅绒作被之曼殊也。”
苏曼殊叫局，笺上往往大书“和尚”二字。按照习俗，根据校书的雅俗，笺上有绘折枝者，或书“有约不来过夜半”或“人约黄昏后”之类，式制不一。客之题签，或以其姓，或举其名，但从未见有署“和尚”者。蜀人杨维将军征花之笺题一“兵”字，与曼殊并为双奇。
贫困潦倒时，苏曼殊常靠典当度日，其杂记中曾有记录：“剩铜板七只，穷至无袴。”他甚至想到过乞食。1909年春，曼殊一度想移住海边，专习吹箫，以为将来乞食作准备。他在编译《汉英三昧集》时，又特别收录了陶潜的《乞食》一诗。
