data_utils module

Módulo que contém funções úteis para lidar com problemas comuns ao trabalhar com arquivos .csv, como concatenar e verificar integridade.

data_utils.concatenate_last_n_csv_files(folder: str, destination_folder: str, n: int = 15) → DataFrame

Função que concatena os n últimos arquivos csv em uma pasta, onde n é um número inteiro escolhido pelo usuário, se n for um número maior que o de registros disponíveis, a função concatena todos os arquivos.

Parameters

folderstr

Diretório da pasta que contém todos os arquivos CSV.

destination_folderstr

Diretório da pasta destino dos arquivos concatenados.

nint , optional

n últimos arquivos a serem concatenados, por default n = 15.

Returns

pd.DataFrame

Único DataFrame Pandas com todos os registros dos arquivos.

Example

>>> result = concatenate_last_n_csv_files('data', 'data_concat',20)
>>> result.shape[0] > 0
True

data_utils.integrity_check(folder: str, begin: int = 2012, end: int = 2022)

Função que verifica se todos os arquivos csv de múltiplos anos (onde no título ex.: ‘sermil2023’ do arquivo está escrito o ano), estão devidamente presentes.

Importante: Esta função funciona somente para arquivos cujo título é do tipo ‘sermilYYYY’.

Parameters

folderstr

Diretório da pasta que contém todos os arquivos CSV.

beginint, optional

Data de arquivo mais antigo que deveria estar presente na pasta

endstr , optional

Data de arquivo mais recente que deveria estar presente na pasta

Returns

bool

Verdadeiro ou Falso, sucesso do teste de integridade.

Example

>>> integrity_result = integrity_check(folder='data',begin=1999,end=2023)
>>> integrity_result == False
True
>>> integrity_result = integrity_check(folder='data',begin=1882,end=2023)
>>> integrity_result == False
True
>>> integrity_result = integrity_check(folder='data',begin=-12,end=2023)
>>> integrity_result == False
True
>>> integrity_result = integrity_check(folder='data',begin=2010,end=2023)
>>> integrity_result == False
True