Conta a historia que os primeiros habitantes foram os índios Carirís, citam-se também os Maracás. Certo é que a presença de pinturas rupestres na região indica que esta área foi ocupada por tribos indígenas. Já em 1796, D. Rodrigo de Souza Coutinho, fazendeiro da região, registra a presença de “Quilombos”, citando os de Orobó, dos Tupins e os de Andarahy. Este quilombos foram destruídos e alguns de seus integrantes presos e devolvidos a seus donos. Podemos citar como remanescente de quilombo, a atual comunidade de Fazenda Velha, nas margens do Rio Santo Antônio.
Os primeiros povoamentos surgem em áreas de fazendas de agricultura e pecuária que serviam aos garimpos da Chapada Velha e Rio de Contas através dos tropeiros, a exemplo do povoado do Comercinho, das Piranhas e do arraial da Passagem, este último à beira do Rio Paraguaçu, em trecho que permitia a navegação e transporte até as áreas do Município de Cachoeira.
Ditos garimpeiros encontram diamantes, no Rio Cumbucas (Mucugê) e a partir daí chegam muitos homens que se espalham pela região e logo trazem suas famílias para habitar as Lavras Diamantinas, vindas Minas Gerais, Mato Grosso,Goiás entre outras províncias, a exemplo de Joaquim de Figueiredo, citado como um dos primeiros colonos.
A corrida em busca de ouro e diamantes trouxe garimpeiros que atraídos pelas pedras preciosas que afloravam praticamente ao ras do solo, começam a povoar a sede do município, que na época era parte de Santa Izabel do Paraguaçu (atual Mucugê).
Utilizando as trilhas dos índios, a mão de obra escrava, e construindo novos caminhos, a Serra do Sincorá foi quase totalmente revirada pelos garimpeiros transformando a região num dos lugares mais ricos do mundo.
Assim foi construída a cidade de Andaraí, as tocas e ranchos dos primórdios começaram a conviver com grandes casarões coloniais, que abrigavam os barões do diamante na fase de esplendor.O fim da escravatura, o começo da República e o achado de jazidas diamantíferas na África, marcaram o começo da decadência. A produção só foi salva graças ao carbonato, o diamante negro, utilizado na indústria, que tinha mercado na construção do Canal do Panamá. Mais tarde, seria descoberto o diamante sintético que substituiria o carbonato. Em 1847, Andaraí já é Distrito Policial, em 1852, Distrito de Paz, elevado a freguesia, pela lei nº 2444 de 19 de maio de 1884, à Vila, em 1878, assumindo a condição de cidade por ato do governador baiano José Gonçalves da Silva, em 28 de abril de 1891.
O coronelismo influenciou a vida e os costumes da sociedade andaraiense. O Coronel regia a vida e o destino de todos e era procurado para resolver todas as questões desde as mais importantes as mais corriqueiras. O mais famoso, respeitado e temido coronel de Andaraí foi Aureliano Gondim, uma das inspirações de Herberto Sales ao escrever o consagrado romance Cascalho.
O ouro verde do Brasil, o café, era também fonte de riqueza na região, o Pati era um centro povoado produtor de café muito rico e movimentado. Sua decadência respondeu à política da época que no intuito de favorecer os cafeicultores do sul, levou os produtores locais a acabar com suas plantas.
O impacto ambiental do garimpo já era grande pela quantidade de areia removida, mas, aumentou muito quando na década de 70, são introduzidas na região as dragas, com motores a disel, que despejavam óleo nos rios contaminando as águas ao ponto da população passar meses sendo abastecida por carro pipa. O assoreamento dos rios, a devastação das matas nativas e a poluição, levam a extinção do garimpo mecanizado em 1996.
O município possui dois distritos; Xique-xique do Iguatu e Ubiraitá. O primeiro, tão antigo ou mais que a sede, é formado por garimpeiros oriundos de Santa Isabel do Paraguaçu e conhecido internacionalmente por seu patrimônio Cultural, arquitetônico e ecoturístico.(foto Igatu) O segundo tem sua origem ligada à passagem de tropeiros e a formação de assentamentos e fazendas agrícolas e pecuárias.
Possui também Povoados com o de Nova Vista, formado da mesma maneira que Ubiraitá e o da Passagem que tem sua história marcada na antiga Fazenda Vitória e no forte comércio ali existente nos tempos áureos dos garimpos, por está localizado em trecho navegável do Rio Paraguaçu , que hoje não acontece por conta do assoreamento deste rio.
Não podemos deixar de falar da Comunidade Tradicional da Fazenda Velha , localidade situada às margens do Rio Santo Antônio, próximo a Antiga Fazenda do Senhor Domingos Gomes de Azevedo (meados do século XIX), e em áreas do Parque Nacional da Chapada Diamantina(1985),área reconhecida como território Quilombola pela Fundação Palmares e com fortes ligações de parentesco com o Quilombo do Remanso em Lençóis.
O Povoado do Paty também situado no município e no centro do PNCD(Parque Nacional da Chapada Diamantina) Tem uma História rica e em outros tempos alimentou Andaraí em víveres .È de lá que surgiu o prato típico da Chapada, o Godó, quando substituíram o feijão por banana verde.
O Mocambo é um grande assentamento, que tem sua história ligada à ocupação do MLT (Movimento de luta pela terra), há 14 anos atrás e já se desmembrou para a ocupação da Fazenda Salobrinho, formando outro núcleo de povoamento.