Usenet

Usenet, integrado

O separador Usenet no eMule Qt, com a fila de downloads e as colunas de estado e categoria

O eMule Qt descarrega da Usenet tal como do ED2K e do Kademlia. Dê-lhe um NZB e ele obtém os artigos dos seus fornecedores de notícias, verifica-os, repara o que estiver danificado, extrai os arquivos e coloca os ficheiros concluídos na pasta de downloads. Também encontra o NZB por si e continua a encontrar novos depois de deixar de procurar.

O motor corre no daemon, por isso tudo isto acontece num servidor ou NAS sem nenhuma janela aberta — e a mesma fila está disponível no cliente, na interface web integrada e em /api/v1/usenet.

Isto é apenas para downloads. O eMule Qt nunca publica na Usenet e não finge ser o SABnzbd, pelo que não serve de back end para ser controlado por outro software.

Os seus fornecedores, pela ordem que quiser

Até 16 contas, cada uma com o seu próprio host, porta e encriptação — simples, SSL/TLS ou STARTTLS — verificação de certificados, credenciais e número de ligações. As contas formam uma escada:

  • Níveis de prioridade — a conta mais barata ou ilimitada é tentada primeiro, e só se passa a um nível de reserva quando todas as contas acima dele tiverem de facto indicado que o artigo não existe. Um timeout nunca promove um artigo; este é repetido onde estava.
  • Contas de bloco e de preenchimento — marque uma conta como opcional e ela só é usada no que as outras não conseguiram entregar.
  • Retenção — uma conta que não consegue guardar um artigo tão antigo é simplesmente consultada mais tarde, nunca tratada como prova de que o artigo desapareceu.
  • Backoff por servidor — um fornecedor que recusa ou corta ligações fica em descanso durante algum tempo em vez de ser martelado, e o resto da escada continua sem ele.

As ligações são repartidas pelas threads de trabalho, pelo que o número que introduz é o número que o fornecedor vê. Todo o motor pode funcionar através do proxy SOCKS5 ou HTTP definido na página Proxy, com os nomes de host resolvidos no destino; se o proxy falhar, a fila fica em pausa e di-lo, em vez de culpar os seus fornecedores.

Uma conta pode ser sem limite, com limite mensal e o dia em que a faturação é reposta, ou um bloco pré-pago. O eMule Qt contabiliza o que gasta, avisa aos 90% e, quando uma conta se esgota, pára em vez de passar discretamente os seus downloads para a conta seguinte e gastar dinheiro diferente. O contador é medido localmente, por isso mostra alguns por cento abaixo do valor do painel de controlo do fornecedor, e não acima.

Como adicionar um NZB

  • Abra um ou vários a partir do separador Usenet
  • Cole até 20 URLs e deixe o daemon obtê-los — .nzb ou .nzb.gz
  • Arraste e largue na janela
  • Faça duplo clique num ficheiro .nzb, depois de o eMule Qt estar registado para eles
  • emulecored --add-nzb release.nzb a partir de um script
  • Deixe um numa pasta vigiada — é lido quando deixa de mudar e depois é movido para o lado
  • Obtenha-o a partir de uma pesquisa num indexador ou de um feed

Os sete métodos passam pelo mesmo código, pelo que a mesma verificação de duplicados apanha uma release que já tenha, seja qual for a forma como chega — e pode desmarcar os ficheiros de um NZB que não quer antes de começar.

Pesquisar nos seus indexadores

Um NZB tem de vir de algum lado. Adicione até 16 indexadores newznab — as suas próprias subscrições, ou um endpoint local do Prowlarr ou NZBHydra2 que represente vários ao mesmo tempo. Uma pesquisa distribui-se em paralelo por todos os indexadores ativos, junta as respostas e elimina os duplicados, e os resultados surgem no separador normal de Pesquisa, ao lado dos resultados ED2K e Kad, sob o método Usenet (Indexador).

Cada resultado traz o suficiente para avaliar uma release sem a abrir: título, tamanho, idade, categoria, quantas pessoas a obtiveram, que indexador respondeu e se já a colocou em fila, descarregou ou cancelou.

Escolher Descarregar para e uma categoria entrega a tarefa ao daemon: é ele que obtém o NZB, com a sua própria chave, diretamente para a fila. A sua chave de API nunca sai do daemon e a interface nunca guarda um URL de download do indexador, pelo que uma ligação não pode vazar numa captura de ecrã ou numa sessão remota. Se o título de uma release incluir uma palavra-passe, esta segue com ela para a fila.

A Usenet não faz parte, de propósito, do método de pesquisa «Automático». Cada página de resultados é uma chamada paga à API e uma consulta revelada a terceiros, pelo que só acontece quando a pede e não antes. Pela mesma razão, a paginação é limitada — por predefinição, três páginas e cem resultados.

Feeds que descarregam por si

Um feed é uma pesquisa que corre sozinha e coloca em fila o que encontra. Até 32, cada um sendo uma consulta guardada a indexadores — os seus termos, as suas categorias newznab, os indexadores que escolher — ou um URL RSS que cola, guardado como a credencial que normalmente é.

Tudo é filtrado antes de qualquer coisa ser colocada em fila:

  • Expressões regulares de deve corresponder e não deve corresponder, com a rejeição a prevalecer em caso de empate
  • Tamanho mínimo e máximo, para que uma amostra ou uma coleção completa não passe
  • Idade máxima
  • A sua própria categoria de download, para que os resultados de um feed fiquem onde quiser

Os feeds são consultados no intervalo que definir, com um mínimo de quinze minutos e um feed verificado por minuto, para que o indexador de ninguém seja martelado, e existe Verificar agora para quando não quiser esperar. Uma expressão regular que não possa ser avaliada pára o feed e diz porquê, em vez de deixar passar tudo discretamente.

A primeira verificação é vazia de propósito. Um novo feed regista o que o indexador já lista e não descarrega nada disso, porque de outro modo adicionar um feed colocaria em fila tudo o que ainda estivesse no servidor. Se for isso que quer, há uma opção para tal.

Verificado, reparado, extraído

Os artigos são descodificados com um descodificador yEnc SIMD e cada parte é verificada com o seu próprio CRC. Os ficheiros são escritos de forma esparsa nas posições reais, com um mapa por segmento guardado em disco, pelo que um reinício volta a pedir exatamente os artigos em falta e mais nada — uma release interrompida não recomeça do zero.

Quando tudo chegou, o PAR2 verifica o conjunto, repara os danos e restaura os nomes de ficheiro reais de uma release ofuscada. Os volumes de recuperação não são obtidos logo à partida: só se descarrega o menor conjunto que realmente cobre os danos, e apenas se houver danos. Uma release que comprovadamente perdeu mais do que os seus ficheiros de recuperação poderiam reconstruir pode ser parada cedo, em vez de gastar o resto da sua quota, e uma release sem qualquer PAR2 recorre ao seu SFV.

Os arquivos são depois extraídos com a libarchive — RAR multivolume em todos os esquemas de nomes, ZIP, 7z, a família tar e divisões .001 — com palavras-passe por item para conjuntos encriptados, e definir uma palavra-passe numa release que falhou repete a tentativa sem descarregar nada de novo. Opcionalmente, cada volume é extraído assim que o seu último artigo chega, e não no fim, pelo que um conjunto grande acaba de ser extraído quase assim que acaba de ser descarregado. Uma release que falhe a verificação nunca é publicada, e uma release de vídeo que se revele conter um programa pode ser retida.

Antes de gastar o que quer que seja, o eMule Qt pode perguntar aos seus fornecedores se uma release ainda lá está. A completude do próprio NZB não custa nada; uma amostra de um artigo por ficheiro, ou a verificação de todos os artigos, custa um pouco. Uma release mais incompleta do que o seu limite é adicionada em pausa, com o motivo na respetiva linha — nunca recusada em seu nome, e podendo ser reverificada mais tarde. Os fornecedores divergem quanto ao que possuem, por isso o número é um conselho, não um veredicto.

Veja antes de terminar

Uma release pode ser reproduzida enquanto ainda está a ser descarregada — um vídeo publicado em bruto desde o primeiro byte, e um ficheiro dentro de um conjunto RAR sem compressão mapeado nos seus volumes com seeking real, de modo que saltar para o meio obtém apenas os artigos onde cai. A pré-visualização funciona no cliente e no navegador, e o download tem prioridade temporária enquanto está a ver. Quando uma pré-visualização não é possível, indica qual dos motivos se aplica.

Um cliente, um orçamento

A Usenet não está acrescentada ao lado do ED2K — partilha recursos com ele:

  • As mesmas categorias numeradas, a mesma barra de separadores e as mesmas pastas por categoria nos dois separadores
  • Um limite global de download, repartido por uma percentagem à sua escolha: um mínimo garantido enquanto ambos os motores estão ocupados, nunca um teto para um enquanto o outro está inativo
  • Um só Pausar tudo, a partir da barra de ferramentas, do ícone da bandeja, da interface web ou da API
  • Um mínimo de espaço livre que faz a fila esperar, com o motivo na linha, em vez de falhar
  • O conteúdo concluído é oferecido à sua partilha ED2K como qualquer outro download
.:Ative-o agora
Opções → Usenet, marque «Ativar downloads da Usenet», depois Adicione um servidor de notícias no separador Conta e prima Testar — mostra-lhe a resposta do próprio fornecedor, palavra por palavra. O separador Avançado reúne o que se aplica a todo o motor: a parte do seu limite de download, a verificação de disponibilidade, a pasta vigiada, a associação de ficheiros .nzb e o que acontece após um download. Opções → Indexadores adiciona um indexador de pesquisa, Opções → Feeds adiciona um feed. As palavras-passe dos servidores de notícias, as chaves de API e os URLs dos feeds são ofuscados no ficheiro de configuração em vez de guardados no porta-chaves do sistema, e o daemon nunca os entrega à interface.

 

Voltar a todas as funcionalidades