R que resume columnas múltiples con data.table

Estoy tratando de usar data.table para acelerar el procesamiento de un gran data.frame (300k x 60) hecho de varios data.frames fusionados más pequeños. Soy nuevo en data.table. El código hasta ahora es el siguiente

library(data.table) a = data.table(index=1:5,a=rnorm(5,10),b=rnorm(5,10),z=rnorm(5,10)) b = data.table(index=6:10,a=rnorm(5,10),b=rnorm(5,10),c=rnorm(5,10),d=rnorm(5,10)) dt = merge(a,b,by=intersect(names(a),names(b)),all=T) dt$category = sample(letters[1:3],10,replace=T) 

y me preguntaba si había una manera más eficiente que la siguiente para resumir los datos.

 summ = dt[i=T,j=list(a=sum(a,na.rm=T),b=sum(b,na.rm=T),c=sum(c,na.rm=T), d=sum(d,na.rm=T),z=sum(z,na.rm=T)),by=category] 

Realmente no quiero escribir los 50 cálculos de columna a mano y una eval(paste(...)) parece torpe de alguna manera.

Eché un vistazo al ejemplo a continuación, pero parece un poco complicado para mis necesidades. Gracias

cómo resumir una tabla de datos en múltiples columnas

Puede usar una statement simple de lapply con .SD

 dt[, lapply(.SD, sum, na.rm=TRUE), by=category ] category index abzcd 1: c 19 51.13289 48.49994 42.50884 9.535588 11.53253 2: b 9 17.34860 20.35022 10.32514 11.764105 10.53127 3: a 27 25.91616 31.12624 0.00000 29.197343 31.71285 

Si solo desea resumir sobre ciertas columnas, puede agregar el argumento .SDcols

 # note that .SDcols also allows reordering of the columns dt[, lapply(.SD, sum, na.rm=TRUE), by=category, .SDcols=c("a", "c", "z") ] category acz 1: c 51.13289 9.535588 42.50884 2: b 17.34860 11.764105 10.32514 3: a 25.91616 29.197343 0.00000 

Esto, por supuesto, no está limitado a la sum y puede usar cualquier función con lapply , incluidas las funciones anónimas. (es decir, es una statement regular de lapply ).

Por último, no es necesario utilizar i=T y j= <..> . Personalmente, creo que hace que el código sea menos legible, pero es solo una preferencia de estilo.


EDITAR: Documentación

Encontrará la documentación de .SD y varias otras variables especiales bajo
sección de ayuda de ?"[.data.table" (en la sección Argumentos, busque debajo de la información).

También eche un vistazo a las preguntas frecuentes de data.table 2.1

http://datatable.r-forge.r-project.org/datatable-faq.pdf