Articles of tokenize

¿Busca una definición clara de lo que son “tokenizer”, “parser” y “léxers” y cómo se relacionan entre sí y se utilizan?

Estoy buscando una definición clara de lo que son “tokenizer”, “parser” y “lexer” y cómo se relacionan entre sí (por ejemplo, ¿un analizador usa un tokenizer o viceversa)? Necesito crear un progtwig que vaya a través de archivos fuente c / h para extraer la statement de datos y las definiciones. He estado buscando ejemplos […]

Plantillas de C ++ Soportes de angularjs Pitfall: ¿Cuál es la corrección de C ++ 11?

En C ++ 11, ahora es la syntax válida: vector<vector> MyMatrix; mientras que anteriormente, tenía que escribirse así (observe el espacio): vector<vector > MyMatrix; Mi pregunta es: ¿cuál es la solución que usa el estándar para permitir la primera versión? ¿Podría ser tan simple como hacer > un token en lugar de >> ? Si […]

Tokenizing y clasificación con XSLT 1.0

Tengo una cadena delimitada (delimitada por espacios en mi ejemplo a continuación) que necesito para tokenizar, ordenar y luego volver a unirme y necesito hacer todo esto usando XSLT 1.0. ¿Como podría hacerlo? Sé que necesito usar xsl:sort alguna manera, pero todo lo que he intentado hasta ahora me ha dado algún tipo de error. […]

División de cadena separada por comas en un proceso almacenado PL / SQL

Tengo una cadena CSV 100.01,200.02,300.03 que necesito pasar a un procedimiento almacenado PL / SQL en Oracle. Dentro del proceso, necesito insertar estos valores en una columna de Número en la tabla. Para esto, tengo un enfoque de trabajo desde aquí: Cómo dividir mejor las cadenas de CSV en Oracle 9i [2] Usando SQL conecta […]

Cómo dividir una cadena en shell y obtener el último campo

Supongamos que tengo la secuencia 1:2:3:4:5 y quiero obtener su último campo ( 5 en este caso). ¿Cómo hago eso usando Bash? Intenté cut , pero no sé cómo especificar el último campo con -f .

cómo obtener datos entre comillas en java?

Tengo estas líneas de texto, el número de citas podría cambiar como: Here just one “comillas” But I also could have more “mas” values in “comillas” and that “is” the “trick” I was thinking in a method that return “a” list of “words” that “are” between “comillas” ¿Cómo obtengo los datos entre las citas? El […]

¿Cómo leo la entrada carácter por carácter en Java?

Estoy acostumbrado al getchar() estilo getchar() , pero parece que no hay nada comparable para java. Estoy construyendo un analizador léxico, y necesito leer el carácter de entrada por carácter. Sé que puedo usar el escáner para escanear en un token o línea y analizar el token char-by-char, pero parece difícil de manejar para cadenas […]

Tokenización de cadenas en C

He intentado tokenizar una cadena usando SPACE como delimitador, pero no funciona. ¿Alguien tiene alguna sugerencia sobre por qué no funciona? Editar: tokenización usando: strtok(string, ” “); El código es como el siguiente pch = strtok (str,” “); while (pch != NULL) { printf (“%s\n”,pch); pch = strtok (NULL, ” “); }

Cómo usar stringstream para separar cadenas separadas por comas

Tengo el siguiente código: std::string str = “abc def,ghi”; std::stringstream ss(str); string token; while (ss >> token) { printf(“%s\n”, token.c_str()); } El resultado es: a B C def, ghi Entonces, el operador stringstream::>> puede separar cadenas por espacio pero no por comas. ¿Hay alguna forma de modificar el código anterior para que pueda obtener el […]

Cómo dividir mejor las cadenas de CSV en Oracle 9i

Quiero ser capaz de dividir cadenas de csv en Oracle 9i He leído el siguiente artículo http://www.oappssurd.com/2009/03/string-split-in-oracle.html Pero no entendí cómo hacer que esto funcione. Aquí hay algunas de mis preguntas relacionadas con esto ¿Funcionaría esto en Oracle 9i? Si no, ¿por qué no? ¿Hay una mejor manera de dividir cadenas de CSV que la […]