Usenet, integrado

O eMule Qt descarrega da Usenet tal como do ED2K e do Kademlia. Dê-lhe um NZB e ele obtém os artigos dos seus fornecedores de notícias, verifica-os, repara o que estiver danificado, extrai os arquivos e coloca os ficheiros concluídos na pasta de downloads. Também encontra o NZB por si e continua a encontrar novos depois de deixar de procurar.
O motor corre no daemon, por isso tudo isto acontece num servidor ou NAS sem nenhuma janela aberta — e a mesma fila está disponível no cliente, na interface web integrada e em /api/v1/usenet.
Isto é apenas para downloads. O eMule Qt nunca publica na Usenet e não finge ser o SABnzbd, pelo que não serve de back end para ser controlado por outro software.
Os seus fornecedores, pela ordem que quiser
Até 16 contas, cada uma com o seu próprio host, porta e encriptação — simples, SSL/TLS ou STARTTLS — verificação de certificados, credenciais e número de ligações. As contas formam uma escada:
- Níveis de prioridade — a conta mais barata ou ilimitada é tentada primeiro, e só se passa a um nível de reserva quando todas as contas acima dele tiverem de facto indicado que o artigo não existe. Um timeout nunca promove um artigo; este é repetido onde estava.
- Contas de bloco e de preenchimento — marque uma conta como opcional e ela só é usada no que as outras não conseguiram entregar.
- Retenção — uma conta que não consegue guardar um artigo tão antigo é simplesmente consultada mais tarde, nunca tratada como prova de que o artigo desapareceu.
- Backoff por servidor — um fornecedor que recusa ou corta ligações fica em descanso durante algum tempo em vez de ser martelado, e o resto da escada continua sem ele.
As ligações são repartidas pelas threads de trabalho, pelo que o número que introduz é o número que o fornecedor vê. Todo o motor pode funcionar através do proxy SOCKS5 ou HTTP definido na página Proxy, com os nomes de host resolvidos no destino; se o proxy falhar, a fila fica em pausa e di-lo, em vez de culpar os seus fornecedores.
Uma conta pode ser sem limite, com limite mensal e o dia em que a faturação é reposta, ou um bloco pré-pago. O eMule Qt contabiliza o que gasta, avisa aos 90% e, quando uma conta se esgota, pára em vez de passar discretamente os seus downloads para a conta seguinte e gastar dinheiro diferente. O contador é medido localmente, por isso mostra alguns por cento abaixo do valor do painel de controlo do fornecedor, e não acima.
Como adicionar um NZB
- Abra um ou vários a partir do separador Usenet
- Cole até 20 URLs e deixe o daemon obtê-los —
.nzbou.nzb.gz - Arraste e largue na janela
- Faça duplo clique num ficheiro
.nzb, depois de o eMule Qt estar registado para eles emulecored --add-nzb release.nzba partir de um script- Deixe um numa pasta vigiada — é lido quando deixa de mudar e depois é movido para o lado
- Obtenha-o a partir de uma pesquisa num indexador ou de um feed
Os sete métodos passam pelo mesmo código, pelo que a mesma verificação de duplicados apanha uma release que já tenha, seja qual for a forma como chega — e pode desmarcar os ficheiros de um NZB que não quer antes de começar.
Pesquisar nos seus indexadores
Um NZB tem de vir de algum lado. Adicione até 16 indexadores newznab — as suas próprias subscrições, ou um endpoint local do Prowlarr ou NZBHydra2 que represente vários ao mesmo tempo. Uma pesquisa distribui-se em paralelo por todos os indexadores ativos, junta as respostas e elimina os duplicados, e os resultados surgem no separador normal de Pesquisa, ao lado dos resultados ED2K e Kad, sob o método Usenet (Indexador).
Cada resultado traz o suficiente para avaliar uma release sem a abrir: título, tamanho, idade, categoria, quantas pessoas a obtiveram, que indexador respondeu e se já a colocou em fila, descarregou ou cancelou.
Escolher Descarregar para e uma categoria entrega a tarefa ao daemon: é ele que obtém o NZB, com a sua própria chave, diretamente para a fila. A sua chave de API nunca sai do daemon e a interface nunca guarda um URL de download do indexador, pelo que uma ligação não pode vazar numa captura de ecrã ou numa sessão remota. Se o título de uma release incluir uma palavra-passe, esta segue com ela para a fila.
A Usenet não faz parte, de propósito, do método de pesquisa «Automático». Cada página de resultados é uma chamada paga à API e uma consulta revelada a terceiros, pelo que só acontece quando a pede e não antes. Pela mesma razão, a paginação é limitada — por predefinição, três páginas e cem resultados.
Feeds que descarregam por si
Um feed é uma pesquisa que corre sozinha e coloca em fila o que encontra. Até 32, cada um sendo uma consulta guardada a indexadores — os seus termos, as suas categorias newznab, os indexadores que escolher — ou um URL RSS que cola, guardado como a credencial que normalmente é.
Tudo é filtrado antes de qualquer coisa ser colocada em fila:
- Expressões regulares de deve corresponder e não deve corresponder, com a rejeição a prevalecer em caso de empate
- Tamanho mínimo e máximo, para que uma amostra ou uma coleção completa não passe
- Idade máxima
- A sua própria categoria de download, para que os resultados de um feed fiquem onde quiser
Os feeds são consultados no intervalo que definir, com um mínimo de quinze minutos e um feed verificado por minuto, para que o indexador de ninguém seja martelado, e existe Verificar agora para quando não quiser esperar. Uma expressão regular que não possa ser avaliada pára o feed e diz porquê, em vez de deixar passar tudo discretamente.
A primeira verificação é vazia de propósito. Um novo feed regista o que o indexador já lista e não descarrega nada disso, porque de outro modo adicionar um feed colocaria em fila tudo o que ainda estivesse no servidor. Se for isso que quer, há uma opção para tal.
Verificado, reparado, extraído
Os artigos são descodificados com um descodificador yEnc SIMD e cada parte é verificada com o seu próprio CRC. Os ficheiros são escritos de forma esparsa nas posições reais, com um mapa por segmento guardado em disco, pelo que um reinício volta a pedir exatamente os artigos em falta e mais nada — uma release interrompida não recomeça do zero.
Quando tudo chegou, o PAR2 verifica o conjunto, repara os danos e restaura os nomes de ficheiro reais de uma release ofuscada. Os volumes de recuperação não são obtidos logo à partida: só se descarrega o menor conjunto que realmente cobre os danos, e apenas se houver danos. Uma release que comprovadamente perdeu mais do que os seus ficheiros de recuperação poderiam reconstruir pode ser parada cedo, em vez de gastar o resto da sua quota, e uma release sem qualquer PAR2 recorre ao seu SFV.
Os arquivos são depois extraídos com a libarchive — RAR multivolume em todos os esquemas de nomes, ZIP, 7z, a família tar e divisões .001 — com palavras-passe por item para conjuntos encriptados, e definir uma palavra-passe numa release que falhou repete a tentativa sem descarregar nada de novo. Opcionalmente, cada volume é extraído assim que o seu último artigo chega, e não no fim, pelo que um conjunto grande acaba de ser extraído quase assim que acaba de ser descarregado. Uma release que falhe a verificação nunca é publicada, e uma release de vídeo que se revele conter um programa pode ser retida.
Antes de gastar o que quer que seja, o eMule Qt pode perguntar aos seus fornecedores se uma release ainda lá está. A completude do próprio NZB não custa nada; uma amostra de um artigo por ficheiro, ou a verificação de todos os artigos, custa um pouco. Uma release mais incompleta do que o seu limite é adicionada em pausa, com o motivo na respetiva linha — nunca recusada em seu nome, e podendo ser reverificada mais tarde. Os fornecedores divergem quanto ao que possuem, por isso o número é um conselho, não um veredicto.
Veja antes de terminar
Uma release pode ser reproduzida enquanto ainda está a ser descarregada — um vídeo publicado em bruto desde o primeiro byte, e um ficheiro dentro de um conjunto RAR sem compressão mapeado nos seus volumes com seeking real, de modo que saltar para o meio obtém apenas os artigos onde cai. A pré-visualização funciona no cliente e no navegador, e o download tem prioridade temporária enquanto está a ver. Quando uma pré-visualização não é possível, indica qual dos motivos se aplica.
Um cliente, um orçamento
A Usenet não está acrescentada ao lado do ED2K — partilha recursos com ele:
- As mesmas categorias numeradas, a mesma barra de separadores e as mesmas pastas por categoria nos dois separadores
- Um limite global de download, repartido por uma percentagem à sua escolha: um mínimo garantido enquanto ambos os motores estão ocupados, nunca um teto para um enquanto o outro está inativo
- Um só Pausar tudo, a partir da barra de ferramentas, do ícone da bandeja, da interface web ou da API
- Um mínimo de espaço livre que faz a fila esperar, com o motivo na linha, em vez de falhar
- O conteúdo concluído é oferecido à sua partilha ED2K como qualquer outro download
.nzb e o que acontece após um download. Opções → Indexadores adiciona um indexador de pesquisa, Opções → Feeds adiciona um feed. As palavras-passe dos servidores de notícias, as chaves de API e os URLs dos feeds são ofuscados no ficheiro de configuração em vez de guardados no porta-chaves do sistema, e o daemon nunca os entrega à interface.