截至2008年12月，中國銀行業協會共有83家會員單位和37家準會員單位。會員單位包括政策性銀行、國有商業銀行、股份制商業銀行、城市商業銀行、資產管理公司、中央國債登記結算有限責任公司、中國郵政儲蓄銀行、農村商業銀行、農村合作銀行、農村信用社聯合社、外資銀行；準會員單位包括各省（自治區、直轄市）、計劃單列市銀行業協會。
中國銀行業協會的最高權力機構為會員大會，由參加協會的全體會員、準會員組成。會員大會的執行機構為理事會，對會員大會負責。理事會在會員大會閉會期間負責領導協會開展日常工作。理事會閉會期間，常務理事會行使理事會職責。常務理事會由會長1名、專職副會長1名、副會長若干名、秘書長1名組成。協會設監事會，由監事長1名、監事若干名組成。
中國銀行業協會日常辦事機構為秘書處。秘書處設秘書長1名，副秘書長若干名。秘書處共有9個部門，包括辦公室、宣傳資訊部、自律部、維權部、教育培訓部、農村合作金融工作聯絡部、國際關係部、計劃財務部、熱線服務部。
根據工作需要，中國銀行業協會設立6個專業委員會，包括法律工作委員會、自律工作委員會、銀行業從業人員資格認證委員會、農村合作金融工作委員會、銀團貸款與交易專業委員會、外資銀行工作委員會。
中國銀行業協會以促進會員單位實現共同利益為宗旨，履行自律、維權、協調、服務職能，維護銀行業合法權益，維護銀行業市場秩序，提高銀行業從業人員素質，提高為會員服務的水準，促進銀行業的健康發展。
