从水路进入鄱陽湖后，吴芮靠岸建城，立为据点，这就是今日的鄱陽县。后来清人蒋士铨有七古咏：其中道“暴虐当时苦秦政，独有番君重民命。抚字能仁杀贼勇，汉家名将秦时令。……丈夫功业立天下，生王死神宁苟且？江湖民心亦易得，在尔鄱陽后来者。”在鄱陽，吴芮首先用强硬手段清除盗匪劣徒势力，积极发展民生大计，开通航运，开发渔产，推广农业。
吴芮完成父辈之托，本以为可以大展宏图，但是没有想到却面临着政治斗争的旋涡。吴芮公开吴王之后代的身份，埋下隐患。韩信反叛汉王，使刘邦对异姓王不信任。有一次刘邦试探性地对吴芮说：“吴，古之建国也。昔荆王兼有其地，今死亡后。朕欲复立吴王，其议可者。”吴芮说：“沛侯濞重厚，请立为吴王。”叫刘邦的侄子刘濞去做吴王。吴芮按照张良计谋，保存实力。他一方面命其第五子吴元（姬妾生的儿子）带一部份家眷回到瑶里生活，另一方面，将自己的部分精锐亲兵分到刘贾帐下。刘邦一共封了八个异姓王，吴芮对封王并不感兴趣，他不主张汉王分封绪候，他也知道，刘邦封王在战争年代是为了收买人心，根据历史教训，他开始低调行事。把自己大部分地区的领地让刘邦封给他的子女。张良辞官隐居后，在吴芮家中生活了一个多月。他的女婿英布野心勃勃，不听劝导，立意谋反，吴芮闻讯后立即通报荆王刘贾，要刘贾小心，后刘贾在鄱陽被英布鸠杀。
吴芮（公元前241～公元前201年），景德镇浮梁县瑶里人。自从吴国开氏始祖泰伯廿三世孙吴王夫差于公元前473年被越国灭亡，勾践毙夫差于余杭山卑犹亭，吴国王子王孙先前己四散避难。据<吴氏宗谱>载;吴王夫差被越国灭亡后，越王勾践命人斩草除根，杀戮吴王夫差后人，于是，太子鸿和王子徽的子女，分别从安徽休宁翻过虎头山和婺源嶂公山隐匿到了浮梁的瑶里、九龙、西湖、江村、兴田、金竹山、南安、寿安、鹅湖、蛟潭、三龙、福港等地驻扎了吴国南溃兵马生存下来。
吴芮是泰伯的第廿九世孙。吴芮在小时候十分聪颖，很受祖父疼爱，经常对他讲祖上的故事，回忆吴国的辉煌和富饶，讲解历史上的种种教训，从医学角度讲解易学的辩证道理，从棋艺中讲解当年祖先里著名军事家吴起的兵法、阵法。从小教他健身强体，练习拳脚武艺。经常和爷爷为伴爬山采药，听爷爷讲祖公公泰伯爱民如子的开国故事。他打猎捕鱼，饲养家禽，参加农业劳动。
由于秦始皇横征暴敛，民不聊生，各地人民投奔吴芮。他听从部下意见，起用刑徒（秦朝对反抗朝廷人面上剌字的犯人）支持项羽，出兵横扫赣，湘，桂一带，史书上载:“番陽令吴芮，甚得江湖民心，号曰番君。布往见之，其众已数千人。番君乃以女妻之，使将其兵击秦。”一年间，吴芮不仅在鄱陽湖流域行仁政发展经济，而且势力范围扩大了数倍。公元前204年，吴芮取下长沙后，在滨临湘水的这块沃土上，建设起了古城长沙。当时北方兵荒马乱，吴芮辖区相对来说平静，吸纳了大量商家南下长沙。距今1500多年前的北魏人郦道元的《水经注》，是我国古代著名的地理学著作。《水经注·湘水》中说：“汉高祖五年以封吴芮为长沙王，是城即芮所筑也。”这是现有的历史文献中关于长沙城最早的，也是最权威的记载。之后吴芮被项羽封为衡山王。史载“番君吴芮率百越佐诸侯，又从入关，故立芮为衡山王，都邾。”
公元前278年，位于湖北江陵的楚国都城郢城被秦攻占，楚王室东迁至安徽寿春，秦军追击楚国王室，无暇顾及番越地带。在战国时代末,兵荒马乱，散兵游勇四处抢劫，吴芮不忍看到乡亲受到损害，组织队伍抗击流寇。吴芮为人宽厚，对于散兵游勇，只要不袭扰百姓，一律给予出路。在乡亲们的支持下,队伍不断扩大，他十八岁时就统制兵马一万七千多人，分布在通向浮梁的各处要道，这支部队军纪严明，很受百姓拥戴。他的母亲梅氏为人十分贤慧，要他藏兵于民，兴农兴商。所以，他的部队吃穿不缺。在那时候，浮梁没有地方政权。吴芮派出自己队伍中的得力骨干到四乡发展，其势力范围北到安徽祁门，东到赣浙边界，南到福建，西到都昌鄱陽。公元前二0七年二月，秦国面临各地义军武装割据的局面，采纳左相李斯谏言，稳定南方，阻止百越地区背叛，封吴芮为番君。 “番”字的含义就是土著种田人的意思，“君”不是指君王，意思是指用一个竹子做的束发的帽子“冠”,即给吴芮管理整个番地区的最高行政长官职权的封号，不给财政支持也不收税。吴芮父亲并不高兴他做什么官，只希望他爱护百姓，但同时也希望彻底解决吴越相争之后吴氏后裔隐蔽生活的局面。吴芮很希望象他的祖辈一样也找一个象太湖一样的地方发展事业，他爷爷给他一张“太衍水”（古代对昌江河的旧称）流域图,希望借朝廷给予的合法身份要他出去打天下，吴芮牢记家中长辈嘱咐，带着自己的队伍，告别乡亲，离开瑶里。从此以后,吴芮开始了新的征途。
青年时代的吴芮，经常研究<孙子兵法>和<吴起兵法>，带着吴氏族人子弟和当年跟随一起南下军士的后代，演练阵法。当时正处在战国年代，《史记．货殖列传》记载：“六岁穰，六岁旱，十二岁大饥”，有旱灾1392次，水灾1621次。公元前214年，吴芮见到徐福（名议，生于公元前255年)，徐福是一个富于冒险精神，涉猎广泛，精通儒墨道兵医各家的人，徐福祖上曾在吴国任御医，随太子友（太子鸿）一起南下到瑶里，其后人也一直以医传世。徐福到瑶里，吴芮的父亲吴申热情接待了他，而吴芮特别喜欢听这位走南闯北的朋友讲天下见闻。徐福特别看重吴芮兄弟俩,尤其是吴芮的弟弟吴莚，吴莚由于长期采药打猎，练就一身好武艺、好箭法，吴莚也想走出去见识一下世面，于是,吴莚从旧部后代中又挑选十几个能医善猎、有武艺、还会制陶、会种植药园的青年作徐福的弟子和侍卫，离开家乡随徐福而去。这一去,吴莚他们再也没有回来，据说，随徐福走遍名山大岳,四处奔波行医，最后随船三千多人东渡入海到日本了(据日本史学界研究资料）。
公元前201年，时年四十岁的吴芮与同甘共苦多年的爱妻苹（长沙王妃毛氏是历史上著名的女才子之一)泛舟湘江，庆祝自己四十岁的生日。吴芮望远山，思念家乡瑶里；看湘水，回忆青年时代在瑶里河畔晨鸡起舞的日子。面对明月，其妻吟咏：“上邪！我欲与君相知，长命无绝衰，山无陵，江水为竭，冬雷震震，夏雨雪，天地合，乃敢与君绝。”吴芮听罢心潮澎湃，留言：芮归当赴天台，观天门之暝晦.（死后请把我送回家乡瑶里五股尖仰天台，要与父辈祖先在一起述说，我尽最大努力做了他们嘱托我的事，可以放心地和他们在一起，朝迎旭日东升，暮送夕陽西下）。是年,夫妇双双无疾而终.吴芮的英年早逝，成为历史之谜，在各地史料中说法不一。
吴芮在洞庭湖一带巡视时结识好友张良(张良，字子房，战国时韩国<今河南颖川>人，为刘邦出谋划策，是屡建功业的开国元勋），在其劝导下，拥戴刘邦。项羽失败后，吴芮以吴国君王之后的身份，和韩信等人拥刘邦为帝。上表书说：“楚王韩信、韩王信、淮南王英布、梁王彭越、故衡山王吴芮、赵王张敖、燕王臧荼昧死再拜言大王陛下：先时，秦为亡道，天下诛之。大王先得秦王，定关中，于天下功最多。存亡定危，救败继绝，以安万民，功盛德厚。又加惠于诸侯王有功者，使得立社稷。地分已定，而位号比拟，亡上下之分，大王功德之著，于后世不宣。昧死再拜上皇帝尊号。”这份出自张良手笔的请愿书被列入史记。刘邦也感谢吴芮的帮助，诏曰：“故衡山王吴芮，从百粤之兵，佐诸侯，诛暴秦，有大功；诸侯立以为王，项羽侵夺之地，谓之番君。其以芮为长沙王。”
刘邦帝业定，刘邦和吕后就用种种方法，去消灭异姓功臣。吴芮的一举一动，刘邦了如指掌。但吴芮以德政稳定民心，不是做给刘邦看的，是真心实意从老百姓过日子出发。刘邦死后，吕雉一直想借机除掉吴芮，长沙王交出南越管辖权后，吕后突然削除汉封赵佗的“南越王”爵位，并遣军讨伐。吕氏朝廷派出的军队战争失败，引出很多复杂的民族矛盾，直到公元前191年吕雉要求长沙国派吏抚平，长沙王派出辛追、陆贾去谈判。辛、陆因与赵佗有旧，在南越受到盛大欢迎。佗献白壁、翠鸟、犀角、紫贝、生翠、孔雀等珍物，愿长作汉之藩臣，而实际上仍称王如故。吴芮的队伍向南发展，兵发南越，不战而屈人之兵，史料说是围而不歼，以和求全。占领南越后，派出大量农业技术人才在南越推广“芮”稻，尽一切力量开发利用当地资源，向所有下属谈吴国灭亡的历史教训，宣传“重民”理念。至今，广东和海南还在种这种稻子。吴芮以示好措施，在广西、南越少数民族地区推行和平共处政策，帮助该地区发展，在广西、越南等地区受到尊敬，至今在越南，桂林，柳州还有吴芮庙。
