No sistema de indexação, temos que pensar num esquema de autorização. Ainda não sei a forma mais eficiente de faze-lo, mas desde o início ele deve ser projetado para considerar quem poder ver o que. Um cara com um login do grupo da Petrobras, quando faz uma consulta, deveria aparecer os dados publicos, mais os dados restritos deles. Acho que isto será extremamente importante.
Provavelmente um bom começo seria separar em bases espelho, dados publicos num e restritos no outro. Quem não tem permissões especiais nem perde tempo varrendo as tabelas restritas. Quem precisa do overhead the varrer as restritas, é sinal que esta pagando e consequentemente podemos aguentar maquinas mais potentes.