離子交換劑的種類很多，離子交換層析要取得較好的效果首先要選擇合適的離子交換劑。
首先是對離子交換劑電荷基團的選擇，確定是選擇陽離子交換劑還是選擇陰離子交換劑。這要取決于被分離的物質在其穩定的pH下所帶的電荷，如果帶正電，則選擇陽離子交換劑；如帶負電，則選擇陰離子交換劑。例如待分離的蛋白等電點為4，穩定的pH范圍為6-9，由于這時蛋白帶負電，故應選擇陰離子交換劑進行分離。強酸或強堿型離子交換劑適用的pH范圍廣，常用于分離一些小分子物質或在極端pH下的分離。由于弱酸型或弱堿型離子交換劑不易使蛋白質失活，故一般分離蛋白質等大分子物質常用弱酸型或弱堿型離子交換劑。
其次是對離子交換劑基質的選擇。聚苯乙烯離子交換劑等疏水性較強的離子交換劑一般常用于分離小分子物質，如無機離子、氨基酸、核苷酸等。而纖維素、葡聚糖、瓊脂糖等離子交換劑親水性較強，適合于分離蛋白質等大分子物質。一般纖維素離子交換劑價格較低，但分辨率和穩定性都較低，適于初步分離和大量制備。葡聚糖離子交換劑的分辨率和價格適中，但受外界影響較大，體積可能隨離子強度和pH變化有較大改變，影響分辨率。瓊脂糖離子交換劑機械穩定性較好，分辨率也較高，但價格較貴。
另外離子交換劑顆粒大小也會影響分離的效果。離子交換劑顆粒一般呈球形，顆粒的大小通常以目數(mesh)或者顆粒直徑(mm)來表示，目數越大表示直徑越小。前面在介紹交換容量時提到了一些關于交換劑顆粒大小、孔隙的選擇。另外離子交換層析柱的分辨率和流速也都與所用的離子交換劑顆粒大小有關。一般來說顆粒小，分辨率高，但平衡離子的平衡時間長，流速慢；顆粒大則相反。所以大顆粒的離子交換劑適合于對分辨率要求不高的大規模制備性分離，而小顆粒的離子交換劑適于需要高分辨率的分析或分離。
這里特別要提到的是，離子交換纖維素目前種類很多，其中以DEAE-纖維素(二乙基氨基纖維素)和CM-纖維素(羧甲基纖維素)最常用，它們在生物大分子物質(蛋白質，酶，核酸等)的分離方面顯示很大的優越性。一是它具有開放性長鏈和松散的網狀結構，有較大的表面積，大分子可自由通過，使它的實際交換容量要比離子交換樹脂大的多；二是它具有親水性，對蛋白質等生物大分子物質吸附的不太牢，用較溫和的洗脫條件就可達到分離的目的，因此不致引起生物大分子物質的變性和失活。三是它的回收率高。所以離子交換纖維素已成為非常重要的一類離子交換劑。