Comentário - "Presentation of the Text Retrieval Conference (TREC-9)", Ellen Voorhees, NIST
O trabalho de Ellen Voorhees, realça a importãncia das conferências TREC (Text Retrieval Conferences ). Estas conferências tem como objectivo a partilha de informação entre diferentes grupos de investigação, com vantagens mútuas, que permitem discussões alargadas e consequentes desenvolvimentos; isto é permitem a formação de uma plataforma de trabalho com informação válida para a realização de testes e experimentação, relacionados com a recuperação de informação. Pode-se, de um certo modo, afirmar que as TREC "funcionam" como um "workingsite" para cientistas interessados na investigação relacionada com a recuperação de informação.
As primeiras TREC foram iniciadas por Donna Harman e Charles Wayne, resultando a elaboração de 3 CD´s (os TIPSTER CD) e formando 25 grupos de investigação debatendo duas temáticas principais: "ad hoc retrieval" e "routing".
Ano após ano, as TREC foram evoluindo passando a apresentar maior número de participantes e de temáticas abrangidas, aliás, estas temáticas foram surgindo dependendo de variáveis como por exemplo, os motivos de interesse dos participante, necessidades dos grupos de investigação, dos seus patrocinadores (sponsors), e ainda de recursos disponíveis.
Assim, devido aos seus objectivos as TREC actuam como uma incubadora de novas ideias, áreas de investigação e discussão, permitindo o desenvolvimento de baterias de testes (documentos), a partilha de tecnologia e conhecimentos e de novas e melhores medidas nos métodos de avaliação de recuperação de informação. Como exemplo, o desenvolvimento de algoritmos BM25 (TREC 3) e modelos twente e BBm (TREC 7).
A metodologia adoptada pelas TREC baseia-se num controle preciso das variáveis, juntamente com testes comparativos e abstracção do conjunto de testes, segundo a tradição de Cranfield na realização de testes laboratoriais.
O processo inicia-se pela criação dos tópicos em NIST (acessores) que são enviados aos participantes. Estes avaliam 1000 documentos, ordenando-os segundo a importância que lhes atribuem, remetendo-os novamente aos acessores.
Os acessores compilam a informação relevante originando um único conjunto de documentos. A utilização do sistema de recuperação permite a pesquisa neste conjunto de documentos e o resultado obtido é avaliado por comparação de relevâncias, mediante a opinião dos participantes.
Uma das conclusões que se obteve com a realização das TREC 9, foi a relação existente entre recuperação e precisão; isto é quanto maior o número de documentos recuperados, menor é a precisão. No entanto, as TREC constitui um factor de dinamização e partilha vantajosa entre grupos de investigação na recuperação de informação.
Permintindo também a qualquer investigador principiante nesta área de investigação seleccionar um conjunto de referências e de nomes de cientistas possibilitando assim referências que poderão utilizar na sua nova área de interesse de investigação.