Implementación de CRC32C de SSE 4.2 en software

Así que tengo un diseño que incorpora sums de comprobación CRC32C para garantizar que los datos no se dañen. Decidí usar CRC32C porque puedo tener tanto una versión de software como una versión acelerada por hardware si la computadora en la que se ejecuta el software admite SSE 4.2

Voy por el manual del desarrollador de Intel (vol 2A), que parece proporcionar el algoritmo detrás de la instrucción crc32 . Sin embargo, estoy teniendo poca suerte. La guía para desarrolladores de Intel dice lo siguiente:

 BIT_REFLECT32: DEST[31-0] = SRC[0-31] MOD2: Remainder from Polynomial division modulus 2 TEMP1[31-0] <- BIT_REFLECT(SRC[31-0]) TEMP2[31-0] <- BIT_REFLECT(DEST[31-0]) TEMP3[63-0] <- TEMP1[31-0] << 32 TEMP4[63-0] <- TEMP2[31-0] << 32 TEMP5[63-0] <- TEMP3[63-0] XOR TEMP4[63-0] TEMP6[31-0] <- TEMP5[63-0] MOD2 0x11EDC6F41 DEST[31-0] <- BIT_REFLECT(TEMP6[31-0]) 

Ahora, hasta donde puedo decir, he hecho todo lo posible hasta la línea que inicia TEMP6 correctamente, pero creo que puedo estar malinterpretando la división polinomial o implementándola incorrectamente. Si mi comprensión es correcta, 1 / 1 mod 2 = 1 , 0 / 1 mod 2 = 0 , y ambas divisiones por cero no están definidas.

Lo que no entiendo es cómo funcionará la división binaria con operandos de 64 y 33 bits. Si SRC es 0x00000000 , y DEST es 0xFFFFFFFF , TEMP5[63-32] serán todos los bits configurados, mientras que TEMP5[31-0] serán todos los bits no configurados.

Si TEMP5 que usar los bits de TEMP5 como numerador, habría 30 divisiones por cero, ya que el polinomio 11EDC6F41 tiene solo 33 bits de longitud (por lo que convertirlo en un entero sin signo de 64 bits deja los 30 bits superiores sin configurar), y entonces el denominador está desarmado por 30 bits.

Sin embargo, si tuviera que usar el polinomio como numerador, los 32 bits inferiores de TEMP5 están TEMP5 , lo que da como resultado divisiones por cero allí, y los 30 primeros bits del resultado serían cero, ya que los 30 bits superiores del numerador ser cero, como 0 / 1 mod 2 = 0 .

¿Estoy entendiendo mal cómo funciona esto? Simplemente falta algo? ¿O Intel ha dejado algún paso crucial en su documentación?

La razón por la que fui a la guía para desarrolladores de Intel por lo que parecía ser el algoritmo que utilizaron es porque usaban un polinomio de 33 bits, y quería hacer salidas idénticas, lo que no sucedió cuando usé el polinomio de 32 bits 1EDC6F41 ( mostrar a continuación).

 uint32_t poly = 0x1EDC6F41, sres, crcTable[256], data = 0x00000000; for (n = 0; n < 256; n++) { sres = n; for (k = 0; k > 1) : (sres >> 1); crcTable[n] = sres; } sres = 0xFFFFFFFF; for (n = 0; n > 8); } 

El código anterior produce 4138093821 como salida, y el crc32 operación 2346497208 produce 2346497208 usando la entrada 0x00000000 .

Lo siento si esto está mal escrito o incomprensible en algunos lugares, es bastante tarde para mí.

Aquí están las versiones de software y hardware de CRC-32C. La versión del software está optimizada para procesar ocho bytes a la vez. La versión de hardware está optimizada para ejecutar tres instrucciones crc32q en paralelo en un solo núcleo, ya que el rendimiento de esa instrucción es de un ciclo, pero la latencia es de tres ciclos.

 /* crc32c.c -- compute CRC-32C using the Intel crc32 instruction * Copyright (C) 2013 Mark Adler * Version 1.1 1 Aug 2013 Mark Adler */ /* This software is provided 'as-is', without any express or implied warranty. In no event will the author be held liable for any damages arising from the use of this software. Permission is granted to anyone to use this software for any purpose, including commercial applications, and to alter it and redistribute it freely, subject to the following restrictions: 1. The origin of this software must not be misrepresented; you must not claim that you wrote the original software. If you use this software in a product, an acknowledgment in the product documentation would be appreciated but is not required. 2. Altered source versions must be plainly marked as such, and must not be misrepresented as being the original software. 3. This notice may not be removed or altered from any source distribution. Mark Adler madler@alumni.caltech.edu */ /* Use hardware CRC instruction on Intel SSE 4.2 processors. This computes a CRC-32C, *not* the CRC-32 used by Ethernet and zip, gzip, etc. A software version is provided as a fall-back, as well as for speed comparisons. */ /* Version history: 1.0 10 Feb 2013 First version 1.1 1 Aug 2013 Correct comments on why three crc instructions in parallel */ #include  #include  #include  #include  #include  /* CRC-32C (iSCSI) polynomial in reversed bit order. */ #define POLY 0x82f63b78 /* Table for a quadword-at-a-time software crc. */ static pthread_once_t crc32c_once_sw = PTHREAD_ONCE_INIT; static uint32_t crc32c_table[8][256]; /* Construct table for software CRC-32C calculation. */ static void crc32c_init_sw(void) { uint32_t n, crc, k; for (n = 0; n < 256; n++) { crc = n; crc = crc & 1 ? (crc >> 1) ^ POLY : crc >> 1; crc = crc & 1 ? (crc >> 1) ^ POLY : crc >> 1; crc = crc & 1 ? (crc >> 1) ^ POLY : crc >> 1; crc = crc & 1 ? (crc >> 1) ^ POLY : crc >> 1; crc = crc & 1 ? (crc >> 1) ^ POLY : crc >> 1; crc = crc & 1 ? (crc >> 1) ^ POLY : crc >> 1; crc = crc & 1 ? (crc >> 1) ^ POLY : crc >> 1; crc = crc & 1 ? (crc >> 1) ^ POLY : crc >> 1; crc32c_table[0][n] = crc; } for (n = 0; n < 256; n++) { crc = crc32c_table[0][n]; for (k = 1; k < 8; k++) { crc = crc32c_table[0][crc & 0xff] ^ (crc >> 8); crc32c_table[k][n] = crc; } } } /* Table-driven software version as a fall-back. This is about 15 times slower than using the hardware instructions. This assumes little-endian integers, as is the case on Intel processors that the assembler code here is for. */ static uint32_t crc32c_sw(uint32_t crci, const void *buf, size_t len) { const unsigned char *next = buf; uint64_t crc; pthread_once(&crc32c_once_sw, crc32c_init_sw); crc = crci ^ 0xffffffff; while (len && ((uintptr_t)next & 7) != 0) { crc = crc32c_table[0][(crc ^ *next++) & 0xff] ^ (crc >> 8); len--; } while (len >= 8) { crc ^= *(uint64_t *)next; crc = crc32c_table[7][crc & 0xff] ^ crc32c_table[6][(crc >> 8) & 0xff] ^ crc32c_table[5][(crc >> 16) & 0xff] ^ crc32c_table[4][(crc >> 24) & 0xff] ^ crc32c_table[3][(crc >> 32) & 0xff] ^ crc32c_table[2][(crc >> 40) & 0xff] ^ crc32c_table[1][(crc >> 48) & 0xff] ^ crc32c_table[0][crc >> 56]; next += 8; len -= 8; } while (len) { crc = crc32c_table[0][(crc ^ *next++) & 0xff] ^ (crc >> 8); len--; } return (uint32_t)crc ^ 0xffffffff; } /* Multiply a matrix times a vector over the Galois field of two elements, GF(2). Each element is a bit in an unsigned integer. mat must have at least as many entries as the power of two for most significant one bit in vec. */ static inline uint32_t gf2_matrix_times(uint32_t *mat, uint32_t vec) { uint32_t sum; sum = 0; while (vec) { if (vec & 1) sum ^= *mat; vec >>= 1; mat++; } return sum; } /* Multiply a matrix by itself over GF(2). Both mat and square must have 32 rows. */ static inline void gf2_matrix_square(uint32_t *square, uint32_t *mat) { int n; for (n = 0; n < 32; n++) square[n] = gf2_matrix_times(mat, mat[n]); } /* Construct an operator to apply len zeros to a crc. len must be a power of two. If len is not a power of two, then the result is the same as for the largest power of two less than len. The result for len == 0 is the same as for len == 1. A version of this routine could be easily written for any len, but that is not needed for this application. */ static void crc32c_zeros_op(uint32_t *even, size_t len) { int n; uint32_t row; uint32_t odd[32]; /* odd-power-of-two zeros operator */ /* put operator for one zero bit in odd */ odd[0] = POLY; /* CRC-32C polynomial */ row = 1; for (n = 1; n < 32; n++) { odd[n] = row; row <<= 1; } /* put operator for two zero bits in even */ gf2_matrix_square(even, odd); /* put operator for four zero bits in odd */ gf2_matrix_square(odd, even); /* first square will put the operator for one zero byte (eight zero bits), in even -- next square puts operator for two zero bytes in odd, and so on, until len has been rotated down to zero */ do { gf2_matrix_square(even, odd); len >>= 1; if (len == 0) return; gf2_matrix_square(odd, even); len >>= 1; } while (len); /* answer ended up in odd -- copy to even */ for (n = 0; n < 32; n++) even[n] = odd[n]; } /* Take a length and build four lookup tables for applying the zeros operator for that length, byte-by-byte on the operand. */ static void crc32c_zeros(uint32_t zeros[][256], size_t len) { uint32_t n; uint32_t op[32]; crc32c_zeros_op(op, len); for (n = 0; n < 256; n++) { zeros[0][n] = gf2_matrix_times(op, n); zeros[1][n] = gf2_matrix_times(op, n << 8); zeros[2][n] = gf2_matrix_times(op, n << 16); zeros[3][n] = gf2_matrix_times(op, n << 24); } } /* Apply the zeros operator table to crc. */ static inline uint32_t crc32c_shift(uint32_t zeros[][256], uint32_t crc) { return zeros[0][crc & 0xff] ^ zeros[1][(crc >> 8) & 0xff] ^ zeros[2][(crc >> 16) & 0xff] ^ zeros[3][crc >> 24]; } /* Block sizes for three-way parallel crc computation. LONG and SHORT must both be powers of two. The associated string constants must be set accordingly, for use in constructing the assembler instructions. */ #define LONG 8192 #define LONGx1 "8192" #define LONGx2 "16384" #define SHORT 256 #define SHORTx1 "256" #define SHORTx2 "512" /* Tables for hardware crc that shift a crc by LONG and SHORT zeros. */ static pthread_once_t crc32c_once_hw = PTHREAD_ONCE_INIT; static uint32_t crc32c_long[4][256]; static uint32_t crc32c_short[4][256]; /* Initialize tables for shifting crcs. */ static void crc32c_init_hw(void) { crc32c_zeros(crc32c_long, LONG); crc32c_zeros(crc32c_short, SHORT); } /* Compute CRC-32C using the Intel hardware instruction. */ static uint32_t crc32c_hw(uint32_t crc, const void *buf, size_t len) { const unsigned char *next = buf; const unsigned char *end; uint64_t crc0, crc1, crc2; /* need to be 64 bits for crc32q */ /* populate shift tables the first time through */ pthread_once(&crc32c_once_hw, crc32c_init_hw); /* pre-process the crc */ crc0 = crc ^ 0xffffffff; /* compute the crc for up to seven leading bytes to bring the data pointer to an eight-byte boundary */ while (len && ((uintptr_t)next & 7) != 0) { __asm__("crc32b\t" "(%1), %0" : "=r"(crc0) : "r"(next), "0"(crc0)); next++; len--; } /* compute the crc on sets of LONG*3 bytes, executing three independent crc instructions, each on LONG bytes -- this is optimized for the Nehalem, Westmere, Sandy Bridge, and Ivy Bridge architectures, which have a throughput of one crc per cycle, but a latency of three cycles */ while (len >= LONG*3) { crc1 = 0; crc2 = 0; end = next + LONG; do { __asm__("crc32q\t" "(%3), %0\n\t" "crc32q\t" LONGx1 "(%3), %1\n\t" "crc32q\t" LONGx2 "(%3), %2" : "=r"(crc0), "=r"(crc1), "=r"(crc2) : "r"(next), "0"(crc0), "1"(crc1), "2"(crc2)); next += 8; } while (next < end); crc0 = crc32c_shift(crc32c_long, crc0) ^ crc1; crc0 = crc32c_shift(crc32c_long, crc0) ^ crc2; next += LONG*2; len -= LONG*3; } /* do the same thing, but now on SHORT*3 blocks for the remaining data less than a LONG*3 block */ while (len >= SHORT*3) { crc1 = 0; crc2 = 0; end = next + SHORT; do { __asm__("crc32q\t" "(%3), %0\n\t" "crc32q\t" SHORTx1 "(%3), %1\n\t" "crc32q\t" SHORTx2 "(%3), %2" : "=r"(crc0), "=r"(crc1), "=r"(crc2) : "r"(next), "0"(crc0), "1"(crc1), "2"(crc2)); next += 8; } while (next < end); crc0 = crc32c_shift(crc32c_short, crc0) ^ crc1; crc0 = crc32c_shift(crc32c_short, crc0) ^ crc2; next += SHORT*2; len -= SHORT*3; } /* compute the crc on the remaining eight-byte units less than a SHORT*3 block */ end = next + (len - (len & 7)); while (next < end) { __asm__("crc32q\t" "(%1), %0" : "=r"(crc0) : "r"(next), "0"(crc0)); next += 8; } len &= 7; /* compute the crc for up to seven trailing bytes */ while (len) { __asm__("crc32b\t" "(%1), %0" : "=r"(crc0) : "r"(next), "0"(crc0)); next++; len--; } /* return a post-processed crc */ return (uint32_t)crc0 ^ 0xffffffff; } /* Check for SSE 4.2. SSE 4.2 was first supported in Nehalem processors introduced in November, 2008. This does not check for the existence of the cpuid instruction itself, which was introduced on the 486SL in 1992, so this will fail on earlier x86 processors. cpuid works on all Pentium and later processors. */ #define SSE42(have) \ do { \ uint32_t eax, ecx; \ eax = 1; \ __asm__("cpuid" \ : "=c"(ecx) \ : "a"(eax) \ : "%ebx", "%edx"); \ (have) = (ecx >> 20) & 1; \ } while (0) /* Compute a CRC-32C. If the crc32 instruction is available, use the hardware version. Otherwise, use the software version. */ uint32_t crc32c(uint32_t crc, const void *buf, size_t len) { int sse42; SSE42(sse42); return sse42 ? crc32c_hw(crc, buf, len) : crc32c_sw(crc, buf, len); } #ifdef TEST #define SIZE (262144*3) #define CHUNK SIZE int main(int argc, char **argv) { char *buf; ssize_t got; size_t off, n; uint32_t crc; (void)argv; crc = 0; buf = malloc(SIZE); if (buf == NULL) { fputs("out of memory", stderr); return 1; } while ((got = read(0, buf, SIZE)) > 0) { off = 0; do { n = (size_t)got - off; if (n > CHUNK) n = CHUNK; crc = argc > 1 ? crc32c_sw(crc, buf + off, n) : crc32c(crc, buf + off, n); off += n; } while (off < (size_t)got); } free(buf); if (got == -1) { fputs("read error\n", stderr); return 1; } printf("%08x\n", crc); return 0; } #endif /* TEST */ 

La respuesta de Mark Adler es correcta y completa, pero aquellos que buscan una manera rápida y fácil de integrar CRC-32C en su aplicación pueden encontrar un poco difícil adaptar el código, especialmente si están usando Windows y .NET.

Creé una biblioteca que implementa CRC-32C utilizando hardware o software según el hardware disponible. Está disponible como un paquete NuGet para C ++ y .NET. Es de código abierto, por supuesto.

Además de empaquetar el código de Mark Adler anterior, he encontrado una forma simple de mejorar el rendimiento del software de respaldo en un 50%. En mi computadora, la biblioteca ahora logra 2 GB / s en software y más de 20 GB / s en hardware. Para los curiosos, aquí está la implementación optimizada del software:

 static uint32_t append_table(uint32_t crci, buffer input, size_t length) { buffer next = input; #ifdef _M_X64 uint64_t crc; #else uint32_t crc; #endif crc = crci ^ 0xffffffff; #ifdef _M_X64 while (length && ((uintptr_t)next & 7) != 0) { crc = table[0][(crc ^ *next++) & 0xff] ^ (crc >> 8); --length; } while (length >= 16) { crc ^= *(uint64_t *)next; uint64_t high = *(uint64_t *)(next + 8); crc = table[15][crc & 0xff] ^ table[14][(crc >> 8) & 0xff] ^ table[13][(crc >> 16) & 0xff] ^ table[12][(crc >> 24) & 0xff] ^ table[11][(crc >> 32) & 0xff] ^ table[10][(crc >> 40) & 0xff] ^ table[9][(crc >> 48) & 0xff] ^ table[8][crc >> 56] ^ table[7][high & 0xff] ^ table[6][(high >> 8) & 0xff] ^ table[5][(high >> 16) & 0xff] ^ table[4][(high >> 24) & 0xff] ^ table[3][(high >> 32) & 0xff] ^ table[2][(high >> 40) & 0xff] ^ table[1][(high >> 48) & 0xff] ^ table[0][high >> 56]; next += 16; length -= 16; } #else while (length && ((uintptr_t)next & 3) != 0) { crc = table[0][(crc ^ *next++) & 0xff] ^ (crc >> 8); --length; } while (length >= 12) { crc ^= *(uint32_t *)next; uint32_t high = *(uint32_t *)(next + 4); uint32_t high2 = *(uint32_t *)(next + 8); crc = table[11][crc & 0xff] ^ table[10][(crc >> 8) & 0xff] ^ table[9][(crc >> 16) & 0xff] ^ table[8][crc >> 24] ^ table[7][high & 0xff] ^ table[6][(high >> 8) & 0xff] ^ table[5][(high >> 16) & 0xff] ^ table[4][high >> 24] ^ table[3][high2 & 0xff] ^ table[2][(high2 >> 8) & 0xff] ^ table[1][(high2 >> 16) & 0xff] ^ table[0][high2 >> 24]; next += 12; length -= 12; } #endif while (length) { crc = table[0][(crc ^ *next++) & 0xff] ^ (crc >> 8); --length; } return (uint32_t)crc ^ 0xffffffff; } 

Como puede ver, simplemente cruje bloque más grande a la vez. Necesita una tabla de búsqueda más grande, pero aún es compatible con la memoria caché. La tabla se genera de la misma manera, solo que con más filas.

Una cosa más que exploré es el uso de la instrucción PCLMULQDQ para obtener aceleración de hardware en procesadores AMD. Logré portar el parche CRC de Intel para zlib (también disponible en GitHub ) al polinomio CRC-32C excepto la constante mágica 0x9db42487 . Si alguien es capaz de descifrar eso, por favor avíseme . Después de la excelente explicación de supersaw7 en reddit , he portado también la elusiva constante 0x9db42487 y solo necesito encontrar algo de tiempo para pulirla y probarla.

Aquí comparo varios algoritmos: https://github.com/htot/crc32c

El algoritmo más rápido se ha tomado del código de ensamblado Intels crc_iscsi_v_pcl.asm (que está disponible en una forma modificada en el kernel de Linux) y utilizando un contenedor C (crcintelasm.cc) incluido en este proyecto.

Para poder ejecutar este código en plataformas de 32 bits primero se ha portado a C (crc32intelc) donde sea posible, se requiere una pequeña cantidad de ensamblaje en línea. Ciertas partes del código dependen de la bitness, crc32q no está disponible en 32 bits y tampoco lo es movq, estos se ponen en macro (crc32intel.h) con código alternativo para plataformas de 32 bits.