English Dataset For Automatic Forum Extraction

Autores/as

  • Jakub Sido University of West Bohemia, Faculty of Applied Sciences, NTIS – New Technologies for the Information Society
  • Miloslav Konopík University of West Bohemia, Faculty of Applied Sciences, NTIS – New Technologies for the Information Society
  • Ondřej Pražák University of West Bohemia, Faculty of Applied Sciences, NTIS – New Technologies for the Information Society

DOI:

https://doi.org/10.13053/cys-23-3-3259

Palabras clave:

Information retrieval, web discussion

Resumen

This paper describes the process of collecting, maintaining and exploiting an English dataset of web discussions. The dataset consists of many web discussions with hand-annotated posts in the context of a tree structure of a web page. Each post consists of username, date, text, and citations used by its author. The dataset contains 79 different websites with at least 500 pages from each. Each web page consists of a tree structure of HTML tags with texts taken from selected web pages. In the paper, we also describe algorithms trained on the dataset. The algorithms employ basic architectures (such as a bag of words with an SVM classifier and an LSTM network) to set a baseline for the dataset.

Descargas

Publicado

2019-09-25

Número

Vol. 23 Núm. 3 (2019): Thematic issue: Computational Linguistics (Guest Editor A. Gelbukh)

Sección

Articles of the Thematic Issue

Licencia

Transfiero exclusivamente a la revista “Computación y Sistemas”, editada por el Centro de Investigación en Computación (CIC), los Derechos de Autor del artículo antes mencionado, asimismo acepto que no serán transferidos a ninguna otra publicación, en cualquier formato, idioma, medio existente (incluyendo los electrónicos y multimedios) o por desarrollar.

Certifico que el artículo, no ha sido divulgado previamente o sometido simultáneamente a otra publicación y que no contiene materiales cuya publicación violaría los Derechos de Autor u otros derechos de propiedad de cualquier persona, empresa o institución. Certifico además que tengo autorización de la institución o empresa donde trabajo o estudio para publicar este Trabajo.

El autor, representante acepta la responsabilidad por la publicación del Trabajo en nombre de todos y cada uno de los autores.

Esta Transferencia está sujeta a las siguientes reservas:

  • Los autores conservan todos los derechos de propiedad (tales como derechos de patente) de este Trabajo, con excepción de los derechos de publicación transferidos al CIC, mediante este documento.
  • Los autores conservan el derecho de publicar el Trabajo total o parcialmente en cualquier libro del que ellos sean autores o editores y hacer uso personal de este trabajo en conferencias, cursos, páginas web personal, etc.