Visão geral dos processos de sincronização de dados
Search
Search Indirect Tax Help and Support.

This article applies to:

  • Product: onesource-determination,onesource-indirect-tax

Importação em massa

É possível usar um método de sincronização completo que substitui a SDI [Sabrix Data Import (Importação de Dados Sabrix)] excluindo e recriando dados de configuração em massa.

Sobre importação em massa

A importação em massa substitui a SDI para sincronizações completas. Essa abordagem diferente evita os problemas mais comuns de SDI, como desempenho lento e erros de restrição de dados.

Usar importação em massa

A importação em massa não realiza validação detalhada. Em vez disso, ela usa um processo de exclusão e recriação.
  1. Acionador:
     Esse processo é acionado para eventos de sincronização completa, como uma importação/exportação de configuração. Ele pode ser usado em paralelo com o Streaming para “alterações deltas” menores.
  2. Preparação:
     O sistema identifica o conjunto de dados de configuração que precisa ser sincronizado.
  3. Excluir e recriar:
     A importação em massa não atualiza cada entidade individualmente. Ela exclui o conjunto de configurações atual das tabelas do banco de dados do cliente. Em seguida, insere o novo conjunto em massa.
  4. Preservação de ID:
     Esse método mantém as IDs de configuração consistentes. As IDs do banco de dados interno são as mesmas no ambiente do Mothership e do cliente. Isso cria uma cópia “canônica” (que corresponde perfeitamente), o que elimina toda uma classe de problemas relacionados a dados.
  5. Validação de cache:
     Depois que o serviço
    Prefetch
     gera o cache, o aplicativo Cache Validation o valida automaticamente antes que os clientes possam usá-lo. Esta etapa de validação normalmente leva aproximadamente de 5 a 10 minutos para ser concluída.
O processo de validação do cache garante que:
  1. O cache gerado seja estruturalmente completo e consistente.
  2. Todas as entidades e relacionamentos esperados estejam preenchidos corretamente.
  3. Qualquer possível corrupção do cache ou problemas de geração parcial são detectados precocemente.
  4. Esta etapa de validação é incorporada à sincronização em massa. Ela ajuda a evitar problemas posteriores do lado do cliente. Somente dados de cache verificados e confiáveis são fornecidos aos ambientes do cliente.

Principais características e benefícios

  • Extremamente rápido:
     Ao usar operações de banco de dados em massa e ignorar validações individuais, ela reduz o tempo de sincronização de horas para minutos. Uma sincronização de
    importação em massa
     completou 26 milhões de entidades em cerca de 17 minutos. Isso pressupõe uma boa taxa de transferência de E/S de armazenamento. O processo de SDI legado levou mais de 8 horas em benchmarking. O benchmark usou uma configuração menor de 7 milhões de entidades.
  • Confiável:
     Esse método usa excluir e recriar. Evita erros causados por violações de restrições de dados que afetaram o processo de SDI. Não há conflitos porque os dados antigos são removidos antes que os novos sejam inseridos.
  • Consistência de dados:
     Garante que o cliente corresponda exatamente ao Mothership. Isso inclui IDs internas. Também simplifica a solução de problemas.
  • Lida com todos os tipos de atualização:
     Funciona com qualquer tipo de atualização de dados. Isso inclui alterações diretas na interface do usuário, chamadas de API de configuração e exportação ou importação completa no estilo SDI. Garante uma sincronização completa e consistente.
  • Importação em massa lida com a sincronização total inicial e a detecção de mudança subsequente.
Opções de configuração:
Importação em massa
 é a solução recomendada para sincronização completa, mas não está ativada por padrão. Para ativar o
Modo de importação em massa
, os administradores precisarão ativar o perfil de
Importação em massa
 na sobreposição do cliente. Uma vez ativo, ele substitui a SDI como o método primário para todos os eventos de sincronização completa. Isso inclui eventos acionados por importação ou exportação. Tmbém serve como um processo alternativo (de fallback) mais eficiente para streaming.

Requisitos de sistema e armazenamento

Essas especificações representam os requisitos mínimos para o desempenho ideal durante o processo de sincronização de
importação em massa
.
  • CPU:
     mais de 2 núcleos recomendados (para operações de transformação)
  • Memória:
     Mínimo de 16 GB de RAM (32 GB recomendado para locatários maiores)
  • Armazenamento (recomendado):
     Capacidade de 50 GiB, ReadWriteOnce (RWO), mínimo de 3.000 IOPS
    • Exemplo de classes de armazenamento:
       OCI
      oci-bv
       (vpusPerGB: 10, faixa balanceada); AWS
      gp3
       (as configurações-padrão incluem 3.000 IOPS)
Opções de agendamento:
 Os itens a seguir estão ligados na Sobreposição.
  • Padrão: A cada 30 minutos
  • Ajustar o intervalo com base na frequência de alteração de dados e requisitos de desempenho
    • Recomendado para ambientes de produção: 30 minutos a 2 horas
    • Para ambientes com alterações de configuração infrequentes, intervalos mais longos (12 horas, diariamente) funcionam bem

Entenda o tempo de sincronização para SDI e importação em massa

Os intervalos de programação listados anteriormente são apenas configurações do lado do cliente. Eles controlam a frequência com que o ambiente de cliente verifica e importa um novo arquivo de configuração. Antes que seu cliente possa importar qualquer coisa, um processo de plano de fundo do lado do servidor chamado Prefetch precisará ser concluído no lado do Mothership. O Prefetch é responsável por gerar e validar o arquivo de exportação que seu cliente consumirá.
Isso significa que o tempo real para uma mudança de configuração ser totalmente refletida no ambiente do cliente é o total combinado de três etapas sequenciais:
Etapa
Processo
Duração do exemplo
1
O Prefetch no lado do servidor gera o arquivo de exportação
30 minutos (configurável por locatário)
2
A validação de cache é concluída no arquivo gerado
5 a 10 minutos
3
O intervalo de importação do cliente coleta e aplica o arquivo
5 a 30 minutos (com base na configuração)
Tempo Total
n/a
40 a 70 minutos
note
Qualquer processo do Prefetch fica pausado enquanto uma importação de dados do cliente está em execução ativa. Assim que a importação do cliente for concluída, o processo do Prefetch será retomado automaticamente.
Exemplo:
Neste exemplo, o Prefetch é executado a cada 30 minutos. A validação do cache leva 10 minutos. A importação do cliente é executada a cada 5 minutos. Se uma configuração for alterada imediatamente após o Prefetch encerrar, a alteração pode levar até 45 minutos para se tornar visível no ambiente do cliente.
Ao planejar a estratégia de sincronização, considere o agendamento de
Prefetch
 e o intervalo de importação do cliente. Um intervalo mais curto para a importação não ajudará se o
Prefetch
 for executado com menos frequência. O cliente não verá um novo arquivo até que o
Prefetch
 encerrar.
A programação do
Prefetch
 deve corresponder à quantidade de dados que você tem. Para clientes com milhões de certificados, um intervalo mais longo pode ser necessário para garantir que todos os dados sejam pré-carregados. A Thomson Reuters pode ajudar a determinar como configurar o ambiente e volume de dados.

Related Content