FAQ do Sistema de Avaliação para o FISL11

Devido ao grande número de propostas de palestra enviadas para o FISL, sempre foi necessário um sistema de avaliação que reduzisse esse número aos espaços disponíveis na grade de programação. O sistema de avaliação utilizado até hoje se baseia na opinião de Avaliadores, que são escolhidos na comunidade. O sistema de avaliação proposto para o FISL 11 se baseia em avaliações dos próprios participantes. Eis algumas FAQ:

0. Por que mudar?

Temos total confiança no sistema de avaliação que utilizamos até hoje, e na política de seleção dos avalidores empregada até então. No entanto, gostaríamos de incluir o máximo de pessoas possível no processo... para isso um novo sistema de avaliação é necessário.

1. Sobre a participação no novo sistema

1.1. Como posso participar da avaliação?

Você já se inscreveu no FISL11? Se sim, já confirmou a inscrição (pagando o boleto)? Se já se inscreveu e confirmou a inscrição, você deve ter recebido um token por email. Se não receber um no prazo de 3 dias após a confirmação, ou a avaliação já foi encerrada (desculpe... "pássaro madrugador é que apanha a minhoca") ou temos um problema no sistema. Se você achar que se enquadra no último caso, envie um email para novaavaliacao@softwarelivre.org com as informações relevantes.

1.2. OK, estou na tela de avaliação, o que devo fazer?

É realmente muito simples. Na tela de avaliação você tem quatro opções:
  • Ou você prefere a palestra 1 (a da sua esquerda), bastando clicar no botão correspondente;
  • Ou você prefere a palestra 2 (a da sua direita), novamente clicando no botão correspondente;
  • Ou ambas as palestras lhe agradam/desagradam igualmente. Nesse caso, clique em "Tanto Faz";
  • Por fim, se você não se acha competente para julgar aquela dupla de palestras em particular, clique em "Pular"; eventualmente aquela dupla de palestras será avaliada por alguém que se julgue competente (observe que, no final de cada rodada, é provavel que uma ou outra dupla de palestras acabem sendo apresentadas repetidamente... volte mais tarde para dar a chance de outra pessoa avaliar aquela dupla).

1.3. Oops... cliquei errado. Posso voltar?

Não. Há um grande número de avaliações sendo processadas. Confie que o seu erro será diluído pela média.

1.4. Hey! Já acabou?

Sim... Para evitar distorções, há apenas um número limitado de avaliações disponíveis para cada token.

2. Sistema propriamente dito

2.1. Como as avaliações são computadas?

Fazer um sistema de avaliação que permita grande participação do público é um desafio. Acreditamos que a melhor maneira de aproveitarmos cada avaliação é através de um sistema conhecido como Torneio Suíço, também utilizado em campeonatos de Xadrez, por exemplo. Nesse sistema, as "avaliações" foram mapeadas para "partidas" entre duas propostas enviadas em que o avaliador deve, simplesmente, dizer se prefere uma ou outra (ou se prefere ambas igualmente).

2.2. OK... mas como funciona "por dentro"?

As "partidas" entre as propostas servem para gerar novas rodadas com novas partidas até que, matematicamente, acabamos extraindo uma "preferência global" do público... É provavelmente mais fácil de entender se você der uma olhada no código que estamos utilizando.

2.3. Por que um algoritmo tão esotérico (por que não algo que não necessite de um matemático para compreender)?

Em primeiro lugar, não é tão complexo assim para compreender. Na realidade a idéia de utilizar um Torneio Suíço vem sendo debatida há pelo menos um ano... Com o crescente número de propostas de palestra enviadas, qualquer sistema mais direto fica muito difícil de ser empregado (incluindo o sistema que utilizamos até hoje)... Esse mesmo problema ocorre em campeonatos de Xadrez, por exemplo, em que, basta um número muito grande de participantes para fazê-lo durar muito tempo. Acreditamos que podemos "reciclar" a mesma idéia que resolveu esse problema no caso do Xadrez e utilizá-la para resolver o nosso problema.

2.4. Hey! Estamos no Brasil! Por que não o "Campeonato Brasileiro"?

O campeonato suiço é uma maneira de parear competidores que garante, matematicamente (após um número definido de rodadas) que os mesmos sejam ordenados de uma forma que reflita seu mérito tão bem quanto se todos os competidores competissem contra todos os demais.

O Campeonato Brasileiro de Futebol é bem diferente. Veja: são 20 times, certo? Para todos jogarem contra todos estamos falando de 380 jogos (vamos pensar em apenas um turno... o campeonato de verdade tem 2 turnos, portanto 760 jogos). Isso funciona muito bem, mas porque são apenas 20 times... e isso leva quase o ano inteiro para acontecer! A Copa do Mundo é bem diferente... Se a Copa do Mundo fosse disputada como o Capeonato Brasileiro, teriamos 1984 jogos! Inviável de se fazer em um mês (que é o que a Copa dura).

Agora imagine que a classificação das palestras seja feita pela fórmula do Campeonato Brasileiro (só que em apenas um turno); e imagine que cada "jogo" seja uma avaliação (tipo palestra A versus palestra B). Como temos aproximadamente 540 propostas, estamos falando de mais de 291 mil jogos/avaliações!

A fórmula do Campeonato Suiço produz uma classificação semelhante com muito menos jogos/avaliações. No caso das 540 propostas, com apenas 2700 avaliações, já resolvemos o problema. É isso que os participantes do FISL vão fazer... Cada um vai receber um token que dá direito a realizar um número limitado dessas avaliações. No fim, teremos uma classificação que reflete a preferência do público.

2.5. Vai ser abandonado o sistema anterior?

Não necessariamente. Se a utilização no FISL11 tiver sucesso é provável que passemos a utilizá-lo nos próximos FISLs. No entanto, podemos reverter ao sistema anterior se houver o entendimento que o sistema não atingiu os objetivos.

3. Erros e bugs

3.1. Estou tentando avaliar mas recebo uma mensagem que começa com "Aguarde enquanto processamos as últimas avaliações do...". Que faço?

Resposta curta: nada. Resposta longa: o algoritmo que utilizamos necessita que uma rodada seja completamente avaliada antes de gerar uma nova rodada. A mensagem de erro acima ocorre quando existem palestras da rodada atual "reservadas" para avaliação, mas o avaliador ainda não o fez. Essa reserva expira em 15 minutos... Quando a avaliação expira sem ser completada, a "partida" é entregue para o próximo avaliador... Ou seja, se você recebeu a mensagem acima, retorne em 15 minutos para ver se o processo já está em movimento novamente.

3.2. Ao usar a função "Pular" algumas vezes, chega em um ponto em que o sistema traz sempre as mesmas duas propostas e não muda mais. Que faço?

Resposta curta: nada. Resposta longa: Isso ocorre por que você chegou ao final do round, e a única avaliação que resta ser executada é a que está sendo apresentada (ou seja, não adianta "Pular"). Como o sistema não pode passar para o próximo round sem que aquela avaliação seja realizada, o sistema reapresenta a única que resta. Como na resposta do item 3.1, aguarde um tempo maior do que 15 minutos para que o sistema desista de obter essa avaliação de você, e ofereça a outra pessoa que não queira "Pular". Volte mais tarde que outra dupla de propostas lhe será apresentada.

3.3. Outros erros e bugs... Como reportar?

Esse é um sistema em testes! Apesar de termos passado por uma fase Beta em que muitos erros e bugs foram resolvidos, outros não são inesperados e agradecemos desde já sua cooperação ao utilizar o sistema. Se você está enfrentando um erro que não foi previsto acima, entre em contato através de novaavaliacao@softwarelivre.org . Mais uma vez, obrigado.

-- PabloLorenzzoni - 08 Jun 2010

Topic revision: r2 - 08 Jun 2010 - 19:41:26 - PabloLorenzzoni


 
This site is powered by FoswikiCopyright © by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding Wiki-SL? Send feedback