其間，吳的所在地湖北省的軍閥夏斗寅，安排吳擔任稅務官，他前往素有“中國的芝加哥”之稱的漢口工作，並在六個月內實現了漢口市區的財政平衡目標。這一成功，引起了蔣介石的注意，一九三二年，蔣任命二十八歲的吳擔任武漢市市長。

於是，家鄉湖北武漢市，成了吳國楨人生極為重要的一個轉折點。武漢市長、重慶市長、上海市長，一直到出任台灣省主席坐鎮台北市……一個又一個大城市的主政經歷，串起了他在動盪時代二十餘年的“宦海沉浮”。

戰火中的“秩序專家”

有着主政數座大城市管理經驗的吳國楨，被 《時代》譽為“秩序專家”，而這一稱號的獲得首先與抗日戰爭密切相關：

秩序專家。……二十世紀給中國（以及大部分亞洲地區）的生活方式，帶來巨大混亂。吳國楨既是民主主義者和基督徒，又是一位秩序專家，他開始了與混亂作戰的經歷。

一九三六年，當肆虐的長江洪水威脅漢口時，吳市長組織三萬苦力維修塌陷的堤壩，機關槍對準他們防止逃跑，十三個晝夜他站在風口浪尖上指揮搶修。還有比長江更可怕的洪水威脅着中國。日本人的侵略，迫使蔣的軍隊撤退至內地，一九三八年十月二十五日，在吳市長三十五歲生日這天早上，曾是蔣的抵抗中心的城市漢口被日本軍隊攻占。中國政府退守至長江三峽，一起撤退的還有數百萬民眾，他們拆整為零，安全地把整個工廠也撤退。吳成為新首都重慶的市長。在兩年時間裡，這座城市的戰時人口從二十萬增至一百多萬，艱苦地忍受了日本的連番轟炸。

每天晚上，日本轟炸機把搖搖欲墜的房屋炸成碎片。污水漫溢街溝，疾病蔓延，重慶的老鼠長得又肥又大。空襲警報系統非常複雜：在警報器之外增加了彩色燈籠，晚上懸掛在柱子上（點亮時說明敵機正在逼近，突然放下時，說明敵機幾乎到了頭頂）。這一系統運轉正常，每天晚上，絕大多數重慶市民躲進家外的大防空洞裡，早上，他們出來尋找遇難者的屍體。

然而，在這些轟炸中，消防員和警察仍然頑強地堅守在這座城市的地面上，吳市長常常就在他們中間，撲滅一次又一次大火，度過一次又一次危機。他像拉瓜迪亞一樣光榮；對重慶的中國人而言——包括對許多美國人——他是一位英雄。

這裡，對吳國楨的城市管理才能，《時代》不厭筆墨，極力渲染，認為即便在美國人眼裡，吳也堪稱一位英雄，甚至將他與二戰期間的紐約市市長拉瓜迪亞相提並論。當年，後者主政紐約，使之成功避免納粹德國的恐怖襲擊而名震一時。

把吳國楨譽為一位“英雄”式的“秩序專家”，正是為了與《時代》對所謂紅色“混亂專家”的攻擊相映襯。《時代》認為，戰後爆發的國共衝突，是主政上海的吳國楨面臨的更為嚴峻的挑戰，其對戰後上海狀況的報道，也再次體現魯斯的冷戰思維，並與魯斯及《時代》一直支持蔣介石的做法相一致：

混亂專家。一段時間裡，重慶乃至整個中國英雄般的忍辱負重似乎得到補償。一九四五年，在進行了十四年的戰鬥之後，戰爭結束，日本戰敗投降。與吳國楨一樣的人，認定他們可以得到必要的時間與和平，來建設一個現代化中國。然而，顯而易見，他們的期望化為泡影。當這位“秩序專家”忙於建設時，紅色的“混亂專家”則忙於不間斷地製造混亂。日本投降日後不久，共產黨和國民黨的內戰隨即爆發。

一九四六年，蔣介石任命吳擔任亞洲最混亂無序的中心——上海的市長。

它不再是一座城市，簡直就是極度混亂無序的象徵。一個世紀以來，亞洲所有邪惡的積澱，以及所有西方運動給亞洲帶來的好處的遺物，一併滌盪着上海的灘涂。吳上任時，上海充斥着病人、文盲、苦力、英國商人、美法英的傳教士、靠小聰明生存的白俄女郎、難民、冒險家、妓女、黑幫——乃至地下共產黨。看到一個房間每晚價格為十五萬（中國幣）的賓館，看到小男孩們公開地玩二十一點賭博，或者看到無家可歸的孩子夜裡死於街頭，不會有人感到驚奇。

吳上任後的第一項行動是處理堆放在停屍房的九萬七千具屍體，因為戰爭期間親屬無法將之運往內地在祖墳安葬。吳用了三十多天時間，將這些全部屍體安葬。

儘管面臨意想不到的困難，吳還是表現出有效而靈活的管理能力。他努力控制上海巨大的財政預算不至於漫無邊際地擴大，盡最大努力打擊黑市。與他在重慶時期一樣，他直接處理一個又一個危機。有一次，他被將近三千名騷動的大學生包圍了十八個小時，最終說服他們和平離開回家。另外一次，大學生則毆打他。一次，城裡最大的一家紡織廠的工人要求增加薪水，吳市長舉辦一個茶會邀請紡織業的老闆們和夫人。能被市長邀請做客，他們十分高興，遂同意減少其百分之七十五的收益。

不過，吳為恢復秩序所做的努力付諸東流，最終獲勝的是製造混亂專家。共產黨（包括他們在美國的呼應者）一方面大聲抨擊中國的弊病和混亂，另一方面紅色力量自身又高舉內戰火炬，將弊病和混亂進一步加劇。當紅色力量逼近上海時，蔣命令正在重病中的吳前往台灣。

前方，台灣海峽，白浪滔滔。朝鮮戰爭爆發，把吳國楨推到了世界關注的前台。