Especificación de formato XML JUnit que Hudson admite

Tengo Hudson como servidor de integración continua y quiero usar la opción ‘Publicar informe de resultados de la prueba JUnit’. Pero no utilizo las herramientas de xUnit para probar, en vez de eso tengo scripts de shell que ejecutan pruebas y devuelven resultados en formato simple. Estoy pensando en hacer un script que transforme estos resultados al formato JUnit. Entonces, ¿me interesa cómo debe verse el archivo JUnit?

Hice algo similar hace unos meses, y resultó que este formato simple era suficiente para que Hudson lo aceptara como un protocolo de prueba:

     details about failure    

Esta pregunta tiene respuestas con más detalles: espec. para la salida de JUnit XML

Acabo de tomar el junit-4.xsd al que otros se han vinculado y usé una herramienta llamada XMLSpear para convertir el esquema en un archivo XML en blanco con las opciones que se muestran a continuación. Este es el resultado (ligeramente limpiado):

                  

Algunos de estos elementos pueden ocurrir varias veces:

  • Solo puede haber un elemento de testsuites , ya que así es como funciona XML, pero puede haber múltiples elementos de testsuite dentro del elemento testsuites .
  • Cada elemento de properties puede tener múltiples property secundarias.
  • Cada elemento de la testsuite puede tener múltiples hijos de testcase .
  • Cada elemento del caso de testcase puede tener múltiples error , failure , system-out system-err o error system-err .

Opciones de XMLSpear

La respuesta principal de la pregunta Anders Lindahl se refiere a un archivo xsd .

Personalmente, encontré que este archivo xsd también es muy útil (no recuerdo cómo lo encontré). Parece un poco menos intimidante, y en cuanto lo usé, todos los elementos y atributos parecen ser reconocidos por Jenkins (v1.451)

Sin embargo, una cosa: al agregar varios elementos de , solo se retuvo uno en Jenkins. Al crear el archivo xml, ahora concateno todos los fallos en uno.


Actualización 2016-11 El enlace está roto ahora. Una mejor alternativa es esta página de cubic.org: el formato de archivo de informes JUnit XML , donde se ha realizado un buen esfuerzo para proporcionar un ejemplo razonablemente documentado . El ejemplo y xsd se copian a continuación, pero su página parece más clara.


ejemplo de archivo XML JUnit

     errors=""  failures=""  name="" tests=""  time=""  >   tests=""  disabled=""  errors=""  failures=""  hostname=""  id=""  package=""  skipped=""  time=""  timestamp=""  >        assertions=""  classname=""  status="" time=""  >      type=""  >   type=""  >            

Archivo JUnit XSD

                                                                                   

No pude encontrar ninguna buena información sobre esto, así que hice un poco de prueba y error. Los siguientes atributos y campos (y solo estos) son reconocidos por Jenkins (v1.585).

         my stack trace  my crash report my STDOUT dump my STDERR dump   

(Empecé con este documento XML de muestra y trabajé hacia atrás desde allí).

Hay varios esquemas para los resultados “JUnit” y “xUnit”.

Tenga en cuenta que hay varias versiones del esquema en uso por Jenkins xunit-plugin (la última versión actual es junit-10.xsd que agrega compatibilidad con el formato Erlang / OTP Junit).

Algunos frameworks de prueba y plugins de informes estilo “xUnit” también usan su propia salsa secreta para generar informes de estilo “xUnit”, que pueden no usar un esquema particular (por favor, lea: lo intentan pero las herramientas pueden no validar contra ninguna un esquema). ¿Pruebas unitarias de Python en Jenkins? ofrece una comparación rápida de varias de estas bibliotecas y pequeñas diferencias entre los informes xml generados.

Estructura básica Aquí hay un ejemplo de un archivo de salida JUnit, que muestra un salto y un resultado fallido, así como un único resultado aprobado.

           Assertion failed        

A continuación se muestra la estructura documentada de un informe JUnit XML típico. Tenga en cuenta que un informe puede contener 1 o más conjuntos de pruebas. Cada conjunto de pruebas tiene un conjunto de propiedades (información del entorno de grabación). Cada suite de prueba también contiene 1 o más casos de prueba y cada caso de prueba contendrá un nodo omitido, error o error si la prueba no se aprueba. Si el caso de prueba ha pasado, entonces no contendrá ningún nodo. Para obtener más detalles sobre qué atributos son válidos para cada nodo, consulte la siguiente sección “Esquema”.

  => the aggregated result of all junit testfiles  => the output from a single TestSuite  => the defined properties at test execution  => name/value pair for a single property ...   => optional information, in place of a test case - normally if the tests in the suite could not be found etc.  => the results from executing a test method  => data written to System.out during the test run  => data written to System.err during the test run  => test was skipped  => test failed  => test encountered an error  ...  ...  

He decidido publicar una nueva respuesta, porque algunas respuestas existentes están desactualizadas o incompletas.

En primer lugar, no hay nada como la JUnit XML Format Specification , simplemente porque JUnit no produce ningún tipo de informe XML o HTML.

La generación del informe XML en sí proviene de la tarea Ant JUnit / Maven Surefire Plugin / Gradle (cualquiera que sea el que utilice para ejecutar sus pruebas). El formato de informe XML primero fue presentado por Ant y luego adaptado por Maven (y Gradle).

Si alguien solo necesita un formato XML oficial, entonces:

  1. Existe un esquema para un informe XML maven infalible generado y se puede encontrar aquí: surefire-test-report.xsd .
  2. Para un XML generado por ant, hay un esquema de terceros disponible aquí (pero podría estar un poco desactualizado).

Espero que ayude a alguien.

Buenas respuestas aquí sobre el uso de Python: (hay muchas maneras de hacerlo) Pruebas unitarias de Python en Jenkins?

En mi humilde opinión, la mejor manera es escribir pruebas python unittest e instalar Pytest (algo así como ‘yum install pytest’) para instalar py.test. Luego ejecute pruebas como esta: ‘py.test –junitxml results.xml test.py’ . Puede ejecutar cualquier script python Unittest y obtener resultados jUnit xml.

https://docs.python.org/2.7/library/unittest.html

En la configuración de comstackción de jenkins Acciones posteriores a la comstackción Agregue una acción “Publicar informe de resultados de prueba JUnit” con result.xml y cualquier otro resultado de prueba que produzca.