Select columns from a base without having to read the whole file

Question

I have a file in . csv VERY large that I can’t read in R. I tried so:

dados19 <- read.csv("microdados_censo_superior_2019/dados/SUP_ALUNO_2019.CSV", sep="|", dec=".")

It is the census of higher education 2019 can be found at https://www.gov.br/inep/pt-br/acesso-a-informacao/dados-abertos/microdados/censo-da-educacao-superior

However, I don’t need the whole file, only a few columns (the columns I need are: CO_CURSO, TP_SEXO, TP_COR_RACA and IN_MATRICULA). Would it be possible to upload/select only the columns I want? Without having to read the whole file?

Answer 1

Complementing the reply from @lmonferrari. As the microdata files are very large, I will use the example mtcars set:

write.csv(mtcars[1:3,], "exemplo.csv")

data table.

The function fread package data table. has the option select to specify the columns desired by names or numbers.

library(data.table)

> fread("exemplo.csv", select = c("disp", "wt", "gear"))
   disp    wt gear
1:  160 2.620    4
2:  160 2.875    4
3:  108 2.320    4

Is faster than read.table and does a good job automatically determining separator and decimal symbol (but can be specified manually).

sqldf

Matter and deal data frames. as a database, with support for SQL statements. In case of function to read files, this can be used not only to select columns but also rows by condition.

library(sqldf)

> read.csv.sql("exemplo.csv", sql = "select disp,wt,gear from file where carb > 2")
  disp    wt gear
1  160 2.620    4
2  160 2.875    4

Answer 2

dados19 <- read.csv('./SUP_ALUNO_2019.CSV', sep = '|', dec = '.',
               colClasses = c('NULL','NULL','NULL','NULL','integer',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','integer',
                              'integer','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','integer',
                              'NULL','NULL','NULL','NULL','NULL'))

By placing NULL in colClasses you do not load the column(skips the column). Each value of this within the array indicates a variable, note that the variables that are maintained are integer.