1925 年1 月，上海虹口，在淞滬鐵路旁一座石庫門建筑里，中國共產黨第四次全國代表大會召開。這次大會首次將支部確定為黨的基本組織，成為黨重視并加強支部建設的歷史起點。

建黨初期，由于黨員人數較少，且地域分布有限，黨的基層組織建設處于起步階段。

中共一大通過的《中國共產黨第一個綱領》規(guī)定，凡有黨員五人以上的地方，應成立委員會。中共二大制定第一部《中國共產黨章程》，規(guī)定各農村各工廠各鐵路各礦山各兵營各學校等機關及附近，凡有黨員三人至五人均得成立一組，每組公推一人為組長，隸屬地方支部。中共三大通過《中國共產黨第一次修正章程》，明確凡有黨員五人至十人均得成立一小組，每組公推一人為組長，隸屬地方支部。

雖然中共二大首次提出“支部”概念，但并未將支部確定為黨的基本組織，“地方支部”更近似于地方黨組織，而“組”則處于黨組織的最低層級。