"TREC Conferences"
Investigação realizada por Margarida Afonso

As TREC (Text Retrieval Conferences) são realizadas anualmente, desde 1992 e têm como objectivo promover a evolução das técnicas e tecnologias de recuperação de informação (information retrieval). As conferências/workshops fornecem uma infraestrutura para testes, em larga escala, dessas técnicas/tecnologias sendo os testes realizados sobre dados reais, os resultados avaliados (de acordo com sistemas de avaliação uniformes) e posteriormente debatidos em fórum de discussão alargado que potencia a partilha de ideias e experiências entre os investigadores.

A série de conferência foi iniciada em 1992, por Donna Harman e cahrles Wayne como a primeira de três séries de avaliação do programa DARPA. Esta primeira conferência focou-se nas temáticas: Ad Hoc retrieval e routing. Ao longo dos anos foram sendo introduzidas outras temáticas tais como a Web, DB merging ou speech entre outros. A escolha das áreas tratadas em cada conferência depende de factores tais como: interesse dos partcipantes, adequação aos objectivos e âmbito da TREC, necessidades de sponsors e recursos disponíveis.

As TREC têm impactos importantes na ciência da Recuperação de Informação:

  • desenvolvimento de colecções de documentos para testes
  • incubação de novas ideias e áreas de pesquisa
  • novas e melhores medidas para a avaliação de sistemas de recuperação de informação
  • partilha de conhecimento
  • transferência de tecnologia
Alguns resultados das conferências TREC são, por exemplo: aperfeiçoamento do algoritmo BM25 (TREC3), o início da ênfase no tópicio inicial (TREC5) ou novos modelos Twente e BBN (TREC7)

Seguindo a tradição de Cranfield os testes laboratoriais são realizados com um controlo apertado sobre as variáveis, abastração a partir do conjunto de teste e testes comparativos. As colecções de testes incluem:
  • documentos representativos (em termos de diversidade, quantidade, género,...)
  • pesquisas e
  • julgamentos de relevância.
A metodologia adoptada é a seguinte:
  • os acessores criam os tópicos em NIST;
  • os tópicos são enviados aos participantes que avaliam 1000 documentos e os ordenam de acordo com a sua relevância e submetem-nos aos acessores;
  • as submissões consideras como relevantes pelos acessores são compiladas formando um único conjunto de documentos com uma valorização de relevância por documento;
  • os sistemas de recuperação de informação são utilizados para pesquisar este conjutno de documentos e os resultados as pesquisas são avaliados por comparação da relevância que atribuiram com que foi assinalada pelos participantes.
Os critérios de avaliação identificados através da experimentação devem ser considerados em função de diversos eixos: satisfação do utilizador, interpretabilidade, capacidade de recolha ou extracção de médias, capacidade de discriminação e possibilidade de ser analisado.

Das experiências realizadas na TREC9 (2000) foi possível tirar algumas conclusões sobre os critérios de avaliação de relevância: por exemplo, a recuperação e a precisão variam inversamente, i.e., se aumenta o número de documentos recuperados então diminui a precisão e vice-versa. É, também, interessante a análise de conjunto de critérios de medida de relevância: document level evaluation, set-based evaluation e interactive retrieval evaluation.