临皋亭在回车院中。回车院是公家建筑，为三司按临黄州时所居的官邸，本来不是一个被谴谪的罪官可以住得的。据苏轼于迁住临皋亭后与鄂守朱寿昌书：
“先生食饱无一事”，总不能整天整夜都睡在床上，就不免常到城中随处闲逛，但他的出入，不过如《与王定国书》所说：
从陈州回去后的苏辙，立即依照兄弟商定的办法，赶忙结束南都的工作，办完交代，然后携同两房眷口，自南都登舟，泛汴泗，出淮扬，过金陵，溯皖江，然后泊舟九江，叫自家眷口就在九江等待，他则亲自护送嫂氏、侄子以及哥哥家其他眷属人等，仍循水路前往黄州。
转眼已是榴花照眼的季节，消息传来，苏辙率领的一家人都已到了磁湖（今湖北大冶），但为巨风大浪所阻，只得停船稍待。苏轼追怀陈州之别，几已半年，兄弟俩又将在黄州重见，一切恍恍惚惚，如在梦中，作诗代简，倩人往迎：
非兄，仆岂发此！看讫便火之，不知者以为诟病也。
苏辙将嫂氏一行送到黄州，顺从老兄的心愿，在黄州住了十天。在此短短十日中，兄弟俩去武昌游玩了寒溪西山寺，武昌县令招待了他们酒食。苏辙全家老小还在九江等他，不得不于六月初九，匆匆告别，苏轼相送至刘郎洑，饮别于王齐愈家。苏辙既行，空洞与寂寞又如浓雾一样，向苏轼重重包围过来，黄州又变成一片荒茫的沙漠了。
临皋亭住屋虽然狭小，但是门外的风景却非常美。亭在江边水驿上，亭下八十余步便是大江，滔滔江水，自上游乱流西下，浪击江岸，涛声昼夜不绝。对岸就是樊口，景色幽美如画，苏轼闲常策杖江边，独自一人眺望天空渺渺的流云和江上起伏的浪涛，不能不使他感到天地何等寥廓，而人却这样的渺小与无助。
长江绕郭知鱼美，妤竹连山觉笋香。
起初，他是白天睡觉，到了晚上，才一个人悄悄跑到寺外去散散步，有时也买杯淡而无味的村酿来润润喉咙。他竭力不使自己喝醉，只怕醉后乱说话。看似平静的生活，心里隐藏着恐怖的创伤，还在那里隐隐作痛。
临皋亭下，八十余步，便是大江，其半是峨嵋雪水，吾饮食沐浴皆取焉，何必归乡哉。江山风月，本无常主，闲者便是主人。问子丰新第园池，与此孰胜？所以不如君者，上无两税及助役钱耳。
自笑平生为口忙，老来事业转荒唐。
逐客不妨员外置，诗人例作水曹郎。
黄州鱼稻薪炭颇贱，甚与穷者相宜。然轼平生未尝作活计，俸入所得，随手辄尽。而子由有七女，债负山积，贱累皆在渠处，未知何日到此。现寓僧舍，布衣蔬食，随僧一餐，差为简便，以此畏其到也。
苏轼见过徐太守后，黄州无一熟人，没有地方要去，他在定惠院里，竟自实行陈州对苏辙说的那句话：“畏蛇不下榻，睡足吾无求。”关起门来，大睡其觉。人逢喜事精神爽，闷倒头来瞌睡多，大家都有过同样的经验，“昏昏觉还卧，辗转无由足”。纵然勉强起来，出门走走，头脑还是昏沉沉的，醒不过来。
苏轼新来乍到，没有落脚处，只得仍求寺院暂住——黄州的定惠院。定惠院坐落城中，不像禅智寺那样破落荒凉，院中薄有花木修竹的栽植，住持和尚颙师也很看重这位住客，给予种种方便。因为住在庙里，苏氏父子即在寺内搭伙，跟着和尚们一同用斋。
更有一天，他漫步走到定惠院东的土山边，在某家杂花满开的篱落间，忽然发现花丛中竟有一株海棠，在春风中嫣然含笑，使他非常诧异。苏轼当年，海棠是西蜀濯锦江独有的名卉，成都燕王宫碧鸡坊的海棠尤为繁盛，范石湖词所谓“碧鸡坊里花如屋，只为海棠，也合来西蜀”，别地向无此花，像黄州这样偏僻的地方，土人又不知此花的名贵，怎么会有呢？这样想看，不知不觉就从海棠花的溷落黄州，移情到自己的身世上来了。他好像做梦一样，以为一定是天上的鸿鹄把海棠花的种子从西蜀衔到了黄州，遂使这空谷佳人，落入江城瘴地里，自苦幽独了。不轻易伤感的苏轼，“忽逢绝艳照衰朽，叹息无言揩病目”。海棠的艳影，一一化作自己的身形，对此不免流露了天涯流落的悲哀。据说，日后苏轼常常书写这首“海棠”诗来送人，先后不下数十本之多，可见这首诗中蕴藏着他深邃的感情。
某寓一僧舍，随僧蔬食，感恩念咎之外，灰心杜口，不曾看谒人。所云出入，盖往村寺沐浴及寻溪傍谷，钓鱼采药以自娱耳。
又向邯郸枕中见，却来云梦泽南州。
除此以外，他只得毫无目的地到处闲逛，不问是私家花园或是寺庙，他都“拄杖敲门”，要求进去看看。其中有两座私家园林，他最欣赏：一是尚氏园，园中竹林花木，修治得最好，藂枳花尤其出色，苏轼曾亲为此花图写；一为柯姓林园，倚山辟园，山上有一片老枳树林，开白花，香味清淡，颜色绝俗，常常使他徘徊树下，为之忘情。
被贬谪的罪官，到达贬所，有两件正事要做：一是立即去向当地的长官“谒告”，有如现在的所谓“报到”，当时的黄州知州是东海人徐大受，字君猷，对他非常礼遇，一点没有遭受奚落；第二件事是要进上谢表，苏轼写得小心翼翼，但能将他自己的立身本末，不亢不卑地说得一清二楚，毫不沮丧。如言：
苏辙答诗说：“黄州不到六十里，白浪俄生百万重。自笑一生浑类此，可怜万事不由侬。”一番被命运播弄的感慨。两天后，听说风浪过去了，苏轼即于五月二十七日黎明，坐船到离黄州二十里地的市集巴河口去接他们。
暌离动作三年计，牵挽当为十日留。
一路来时，看见黄州城外江浒群山上，连绵不断的尽是竹林，俯望绕郭长江，风平浪静，心里便在盘算：这地方竹林那么多，竹笋一定很香很嫩，长江里活活泼泼的鱼鲜，不愁吃不到。吃的既然有了，其他都好办。至于做官呢？既已身为“逐客”，但还拥有一个水部员外郎的虚衔，他想到梁朝的何逊，唐朝的张籍，这两位前代诗人都曾做过此官，我又何尝辱没，作《初到黄州》诗，感觉非常满足，只有开头两句，可以解释为他平生只为“口食”奔忙，但也不妨解读为一生皆因“口舌”遭殃。原诗：
似是寿昌向有关方面代他关说，才弄到手的。但这房屋并不宽大，他又家口众多，住得非常拥挤。如同年夏，陈慥要到黄州来看他，他就曾为招待客人住宿，大伤脑筋，写信告陈说：“临皋虽有一室可憩从者，但西日可畏。承天（寺）极相近，或门前一大舸亦可居，到后相度。”要借僧舍，甚至是门前停泊的旧船来接待宾客，苏家房屋的迫促，实已到了捉襟见肘的地步。
惊尘急雪满貂裘，泪洒东风别宛丘。
穷达得丧，粗了其理，但廪禄相绝，恐年载间，遂有饥寒之忧，不能不少念。……
苏轼《与范子丰书》说：
伏念臣早缘科第，误忝缙绅。亲逢睿哲之兴，遂有功名之意。亦尝召对便殿，考其所学之言；试守三州，观其所行之实。而臣用意过当，日趋于迷。赋命衰穷，天夺其魄，虽至仁屡赦而众议不容。……岂谓尚玷散员，更叨善地。投畀麋鼯之野，保全樗栎之生，臣虽至愚，岂不知幸。……
已迁居江上临皋亭，酌江水饮之，皆公恩庇之余波。
早晚青山映黄发，相看万事一时休。
只惭无补丝毫事，尚费官家压酒囊。
苏轼计算着他们的行程，也忙着准备接眷。虽说家眷来了，可以不再寄寓庙宇，但他却担心偌大一份家口的生活负担，所以心里实在也很怕他们到来，与章惇书中，坦白说道：
示及新诗，皆有远别惘然之意，虽兄之爱我厚，然仆本以铁石心肠待公，何乃尔耶？吾侪虽老且穷，而道理贯心肝，忠义填骨髓，直须谈笑于死生之际，若见仆困穷，便相于邑，则与不学道者，大不相远矣。兄造道深，中必不尔，出于相好之笃而已。然朋友之义，专务规谏，辄以狂言广兄之意尔。虽怀坎壈于时，遇事有可尊主泽民者，便忘躯为之，祸福得丧，付与造物。
粗看他对于这种闲散的隐居生活，似已非常满足，其实那只是生活之艺术精神的一面。作为一个儒学者，淑世是其生命的本分，“虽云走仁义，未免违寒饿”，他可以毫不怨悔。但是“丈夫重出处，不退要当前”，满怀用世的热情又怎能轻易放下？所以当他的好友李常寄诗来慰问他的不幸时，他却大不以为然，复书直道儒者的责任时，又另是一副铁石心肠。如言：
身在冤诬谪废中，而犹有如此生气凛然的言语，这是苏轼道德勇气之所在，亦是其性格中坚忍不拔之一面。
苏轼父子于元丰三年（1080）二月初一日到达目的地，走在路上的时间，足足有半个月。
坐在船上，细细欣赏晨光曦微中的江水，浩淼的水面上笼罩着蒙蒙烟雾，显出一片宁静，小舟轻盈前进，犹如划破千顷碧绿色的玻璃。置身在这样自由美好的天地里，禁不住想起去年在御史台狱囚房里的生活，“去年御史府，举动触四壁。幽幽百尺井，仰天无一席”。他就在这井底，战战兢兢过了一百多天——“余生复何幸，乐事有今日”。他可以和家人团聚了，他几乎愿意在这江城终老了。
沐浴是苏轼日常生活中的癖好之一，此来黄州，常去城南安国寺洗澡，他在《安国寺浴》中别有感触：“尘垢能几何，翛然脱羁梏。披衣坐小阁，散发临修竹。心困万缘空，身安一床足。岂惟忘净秽，兼以洗荣辱。默归毋多谈，此理观要熟。”甚至像这样淡泊的感慨也不敢“多谈”，苏轼当时的精神生活，还一直在被禁制的状况中，是可以想象得到的。
他曾有一个不切实际的空想，假使苏辙也愿意住到黄州来，他将设法筹点钱，把柯氏园买下来兄弟共居，这个构想虽然美好，但不是现在的能力所做得到的。家眷来了，他不得不弄个住处，遂于二十九日搬进临皋亭去住。
黄州在大江之湄，北附黄冈，地形高高下下，颇不平坦，公府居民，极其萧条。不过既为贬谪之所，自然是“大不胜处”，所以也毫不诧异。
