Migração do twiki.softwarelivre.org para a DakarRelease

Muito brevementre: a DakarRelease é a nova versão estável do TWiki. Algumas das melhoras em relação à anterior (CairoRelease) são:

• arquitetura mais robusta e livre dos problemas de segurança sistemáticos da versão anterior
• um visual padrão muito mais bonito.
• suporte a internacionalização da interface de usuário

O twiki.softwarelivre.org está sendo migrado antes do lançamento oficial da DakarRelease, mas isso não deve ter muitos inconvenientes.

Alguns problemas relacionandos à migração estão listados a seguir. Alguns a administração do TWiki vai resolver (na medida da possibilidade), mas alguns não. Sinta-se à vontade para incluir problemas que tenham surgido, e principalmente para consertar aqueles que te incomodam.

Preferências antigas

A grafia de variáveis com letras minúsculas (e.g. %Formata_Centro%) não é mais suportada. TWikiPreferences precisa ser atualizado e todas os tópicos que usam aquelas variáveis também.

Note: nessa nova versão as preferências globais customizadas (TWikiPreferences) devem ser alteradas na web Main.

• As preferências globais na web Main valem para toda instalação da versão Dakar ou é uma customização do softwarelivre.org? E se agora é assim, não ficou claro a distinção entre esta é a TWiki.TWikiPreferences? -- CarlinhosCecconi - 12 Dec 2005
  • As preferências globais na web TWiki? são as que "vêm de fábrica", com a intenção de serem defaults razoáveis. As na web Main são customizações locais da instalação e têm precedência sobre as "de fábrica". A idéia é que ao fazer um upgrade, não se precise "fundir" eventuais customizações que o admin tenha feito na web TWiki, i.e. as customizações ficam só na Main -- AntonioTerceiro - 12 Dec 2005

Exemplos de preferências quebradas:

• web Arte
• Post na web blog

Para voltar a funcionar, as variáveis têm que ser transformadas para maísculas, por exemplo, %Formata_Centro% tem que ser transformado em %FORMATA_CENTRO%.

Plugins e etc

Talvez estejam faltando alguns plugins que eram usados antes. Listemos eles aqui para que sejam instalados:

• TopicTranslationsPlugin
• ImageGalleryPlugin
• LinkOptionsPlugin em TWikiBar

Webs bagunçadas

Já resolvidas marcadas com .

• ASL -- preferências obsoletas (veja acima)
• Arte -- preferências obsoletas (veja acima)
• Blogs;.WebHome, várias coisas
  • Bugs:Item1169
• EconomiaSolidaria -- preferências obsoletas (veja acima)
• Sementes -- preferências obsoletas (veja acima)
• Shakya -- usando figuras do projeto gráfico antigo como botões (faltava trazer de volta os pub/Main/* antigos)
• SoftwareLivreVS? - preferências (locais) em formato obsoleto
• TV -- preferências obsoletas (veja acima)
• TWikiBar -- preferências obsoletas
• TWikibr -- preferências obsoletas (veja acima)
• Telecentros -- usando figuras do projeto gráfico antigo como botões
• PSLGO - Todas referências às variáveis em minúsculas foram corrigidas

(faltava trazer de volta os pub/Main/* antigos)

Pendências gerais

• reativar WebNotify
• reativar backups:
  • rsync
  • tarballs
• web Blogs: reativar caching dos feeds

Problemas com desempenho

Depois de migrar, a máquina começou a apresentar sérios problemas de desempenho: algumas requisições, principalmente ao script rdiff e aos tópicos WebSearch de cada web, faziam o uso de CPU colar em 100% e aumentavam o uso de memória progressivamente com o tempo. Quase todas essas requisições viam de robôs, o que me fez desconfiar deles. Nisso descobri que o robots.txt não estava disponível. Consertei isso, mas o Googlebot, por exemplo, só baixa (ou tenta baixar) o robots.txt uma vez por dia. De qualquer forma isso ajudou um pouco. Além disso eu coloquei um Deny from googlebot.com para /bin/view/*/WebSearch, assim como criei um blacklist para os scripts e inclui o IP 194.224.199.49.

Descobri uma coisa interessante: como estamos gerando as estatísticas diariamente, os tópicos WebStatistics das webs mais antigas tinham mais de 300 revisões. Requisições para rdiff deles demoram muito ... Por isso alterei pra que as estatísticas sejam geradas só de 15 em 15 dias, não precisa tanta frequência quando estava.

Mas o uso absurdo de CPU e memória para algumas requisições (especialmente para os tópicos WebSearch, o que eu não consigo explicar) continuou.

Só depois tive um insight e lembrei que na migração eu resolvi testar a propaganda de que a Dakar funciona redondo com mod_perl, e imaginei que talvez esse fato (uma alteração substancial no ambiente de execução do TWiki) pudesse ter a ver com essa baixa performance. Ao desabilitar o mod_perl e voltar pra CGI normal, a máquina começou a apresentar uma performance no geral muito melhor, principalmente com relação ao uso de memória (embora por natureza as requisições vão demorar mais pra ser processadas como CGI normal) . Isso precisa ser investigado, aparentemente sob mod_perl as coisas estão ficando em memória pra sempre. Talvez a solução seja fazer aquele preloading de todos os módulos necessários.

Depois disso tentei tirar o blacklist e comentar o Deny from googlebot.com dos WebSearch's depois de desabilitar o mod_perl, mas o problema voltou. Aparentemente há algo no WebSearch que faz com que requisições de robôs entrem em loop e comecem a consumir memória progressivamente (pois pelo navegador, ao menos aparentemente, o tópico é renderizado normalmente).

Preciso investigar mais ...

update: esse problema parece ser causado por um bug muito estranho relacionado ao framework de internacionalização (Locale::Maketext, especificamente).

-- AntonioTerceiro - 17 Dec 2005

Outras questões - inclua dúvidas, perguntas, relatos, etc aqui

• FreeSkin? + SessionPlugin?. P.Ex.: KdeBR

O Código em FreeSkinPreTopic não funcionou:

%SEARCH{"   \* Set GROUP .*?%WIKINAME%" topic="KdebrGroup" web="Main" regex="on" casesensitive="on" nosummary="on" nosearch="on" noheader="on" nototal="on" format="Usuário: %WIKIUSERNAME%  $percntINCLUDE{MenuEditores}$percnt"}%

Alterei para o código abaixo e passou a funcionar.

%SEARCH{"Set GROUP .*?%WIKINAME%" topic="KdebrGroup" web="Main" regex="on" casesensitive="on" nosummary="on" nosearch="on" noheader="on" nototal="on" format="Usuário: %WIKIUSERNAME%  $percntINCLUDE{MenuEditores}$percnt"}%

Pergunto: SessionPlugin? não é mais necessário instalar, certo?! Quais outros plugins foram incorporados à Dakar?!

-- CarlinhosCecconi - 12 Dec 2005

Sim, SessionPlugin foi incorporado. Com a diferença que aqueles %IF_AUTHENTICATED% da vida não são mais suportados (veja IfStatements). Não tem outros plugins incorporados que eu me lembre.

Sobre a busca acima, não sei o que há ainda. :-/

-- AntonioTerceiro - 12 Dec 2005