1928年6月2日，謝雪紅被釋放后，做的第一件事就是重建臺共黨中央。由于蔡孝乾等黨員遠避大陸，謝雪紅于1928年11月在臺北召開了僅有林日高、莊春火參加的第一次重建的臺共黨中央會議，會議決定林日高任書記兼組織部長，莊春火任勞動部長兼宣傳部長，謝雪紅任中央委員。開除逃亡大陸的蔡孝乾、侯朝宗、潘欽信和謝玉葉黨籍，吸收農民組合的楊克培和楊春松為新黨員，再就是為了掩護黨的活動，決定在臺北開設國際書局。

謝雪紅的另一個舉措就是逐步滲透新文協和當時臺灣最大的社會團體臺中農民組合。通過在這些組織中發展少壯黨員，以慢慢取得領導權。先是利用共產國際批判日共山川均主義的時機支持王敏川奪取了與山川均有關聯的連溫卿的領導權。后來，農民組合的領導人簡吉、趙港、楊春松、楊克培等人相繼主動拜訪謝雪紅，希望能夠得到臺共黨的支持。之前，農民組合在殖民政府的高強度打壓之下也已經走向了左傾，而且農民組合以前是在日本勞動農民黨的幫助下成長起來的，但日本勞動農民黨在日本國內的3.15大檢舉中被強行解散，農民組合失去了外援，再加上內部本身也存在分裂的危險，所以，能夠得到臺共黨的支持是很重要的。謝雪紅自然不會拒絕。于是，短短幾個月間，新文協和農民組合就成了臺共黨的外圍組織。

謝雪紅的建黨策略是成功的，臺共黨的黨員人數不斷增加，外圍組織也在不斷地擴大，力量在加強。但隨著一些年輕的黨員開始取得外圍組織的領導權后，就開始對謝雪紅隱蔽建黨的方針發生了不滿和抵制，他們認為1929年全球爆發的經濟危機對革命形勢是非常有利的，應該積極主動有所作為。謝雪紅則認為在殖民政府的極力打壓之下，還是應該隱蔽發展，以合法掩護非法，對合法公開的團體或組織進行漸進式的滲透并最終取得領導權，以壯大臺共黨的力量。另外，雙方在發展工農運動的問題上上也有分歧。

農民組合

更致命的是，謝雪紅是在臺灣獨立重建臺共黨的，并沒有得到共產國際和日共的批準和承認，也沒有取得和與組織上的聯系和得到有力的支持，對中共也保持敬而遠之的態度，一切都是自己在摸索。而少壯派們則希望有一個強有力的有資源有靠山的黨中央來領導大干一場，他們質疑黨中央的權威性和正當性，因此，臺共黨開始分裂。

無奈之下，謝雪紅于1930年派遣林日高奔赴上海與共產國際和中共聯系，向共產國際匯報臺共黨的現狀，林日高受到了翁澤生的冷淡，一無所獲空手返回臺灣，一氣之下，宣布脫黨，隨后，莊春火也宣布脫黨。后來，謝雪紅又派陳德興奔赴上海，最后帶回來的是共產國際對她的批評和責令改革的指示。負責聯絡共產國際的翁澤生還特地交代陳德興，如果謝雪紅不同意或者拒絕接受指示，可以向新文協的領導人王萬得及農民組合的領導人趙港報告，令他們準備改革。

關于翁澤生和謝雪紅的分歧有很多種說法，有一種說法主要在于本土意識和中國意識的認同上，謝雪紅由于受共產國際和日本共產黨的影響比較大，再加上她具有強烈的臺灣本土意識，所以她自始至終比較抗拒中共對臺共黨的介入，而且臺共黨成立時和謝雪紅重建后的黨的決議上都很清楚的強調臺灣的獨立，這就不能不讓人懷疑和產生嫌隙。而翁澤生從小便被送往大陸學習，又是瞿秋白的學生，中國意識和民族認同感非常強烈，所以他和謝雪紅的分歧是不容調和的。這種說法有一定的道理，但臺共黨黨章上的決議我覺得還是要從當時的現狀來分析，畢竟這個所謂的獨立是針對殖民地而言的。

而令人不解的是三十年代的中國共產黨無論是在共產國際還是中共黨內，都在批判左傾盲動主義，瞿秋白也遭受了嚴厲的批評，為什么在同樣的情況之下，翁澤生以及共產國際東方局卻在批評臺共黨太過謹慎太過隱蔽？從而鼓勵大干主動出擊，這個令人很是不解。

事情的發展是，謝雪紅果然拒絕執行共產國際的指示，認為這是翁澤生假傳圣旨以圖分裂臺共黨。而王萬得則以此為依據召集對謝雪紅不滿的黨員，組織反謝雪紅同盟。

從1930年12月27日開始，王萬得先后召集各行業工會的負責人蘇新、蕭來福、陳德興、趙港等人開會，批判謝雪紅為首的黨中央犯了閉鎖主義、不動主義的錯誤，成立改革聯盟，重新選舉蘇新、陳德興、蕭來福、王萬得為新的中央委員，臺共黨正式分裂。

1931年4月，曾經被謝雪紅開除了黨籍的潘欽信回到臺灣帶回翁澤生傳達的共產國際的指令，并決定由潘欽信根據共產國際的指令擬定政治綱領草案，召開臨時大會，最后一致通過接受中共的指導和開除謝雪紅、楊克培、楊克煌、林木順的黨籍，于是，改革同盟獲得了領導權。

改革同盟獲勝了，但臺共黨的最后時刻也來臨了。其實，早在謝雪紅回臺重建臺共黨后，日本殖民政府就已經懷疑有共產黨在活動，但由于謝雪紅的謹慎和小心，一直沒有找到證據。后來少壯派們與謝雪紅產生分歧后，就不聽從謝雪紅的勸告，活動越來越活躍，越來越激進，越來越公開化，終于被日本警方掌握了他們的活動軌跡。

1931年3月24日，陳春木被捕。

4月9日，陳德興被捕。

6月26日，謝雪紅、楊克培被捕。

7月15日，劉守鴻被捕。

7月17日，王萬得被捕。

7月底，蕭來福被捕。

9月1日，潘欽信、簡氏娥被捕。

9月13日，蘇新被捕。

9月18日，莊守被捕。

大搜捕中，臺共黨人被捕79人，判刑49人，至此，臺共黨再次瓦解。

1932年，翁澤生派遣張志忠回臺灣重組臺共黨。

1933年，張志忠在臺灣，翁澤生在上海分別被捕，張志忠裝瘋獲保釋后逃回大陸。

翁澤生作為日本殖民政府通緝名單上的最后一位臺共黨黨員被捕，代表著臺共黨在臺灣的完全崩潰。后來，翁澤生被遣送回臺灣，被判刑13年，1939年翁澤生因病危獲得保釋，不久病逝，年37。

謝雪紅被判刑13年，于1940年因病保釋。直到日本投降，謝雪紅與楊克煌一直經營著一家百貨店，且一直處在日本警方的監視中。

1946年3、4月間，臺工委最優秀的領導人張志忠返回臺灣，他的任務是:創建中國共產黨臺灣工作委員會。于是，唱響了臺共黨歷史上最后的悲歌。