Códigos de pirâmide: esquemas flexíveis para comercializar espaço para eficiência de acesso em sistemas confiáveis de armazenamento de dados.
Cheng Huang Minghua Chen Jin Li.
Publicado em.
Transações ACM no armazenamento (TOS)
Tipo de Publicação.
9, edição 1, artigo n. ° 3.
ACM New York, NY, EUA.
Nós projetamos esquemas flexíveis para explorar as compensações entre espaço de armazenamento e eficiência de acesso em sistemas confiáveis de armazenamento de dados. Com o objetivo, duas novas classes de códigos resilientes de apagamento são introduzidas & # 8212; Códigos básicos de pirâmide (BPC) e códigos de pirâmide generalizadas (GPC). Ambos os esquemas requerem um pouco mais espaço de armazenamento que os esquemas convencionais, mas melhoram significativamente o desempenho crítico da leitura durante falhas e indisponibilidade.
Como subproduto, estabelecemos uma condição de correspondência necessária para caracterizar o limite de recuperação de falha, ou seja, a menos que a condição de correspondência seja satisfeita, um caso de falha é impossível de se recuperar. Além disso, definimos uma propriedade de recuperação máxima (MR). Para todos os esquemas ERC que possuem a propriedade MR, a condição de correspondência torna-se suficiente, ou seja, todos os casos de falha que satisfaçam a condição de correspondência são realmente recuperáveis. Mostramos que o GPC é a primeira classe de esquemas não-MDS que possuem a propriedade MR.
Códigos de pirâmide: esquemas flexíveis para comercializar espaço para eficiência de acesso em sistemas confiáveis de armazenamento de dados.
Cheng Huang Minghua Chen Jin Li.
Tipo de Publicação.
Número.
© 2008 Microsoft Corporation. Todos os direitos reservados.
Descrevemos esquemas flexíveis para explorar as compensações entre espaço de armazenamento e eficiência de acesso em sistemas confiáveis de armazenamento de dados. Com o objetivo desse objetivo, duas classes de códigos fundamentalmente diferentes são introduzidas sob o mesmo guarda-chuva de nomes - Pyramid Codes. Os códigos básicos de pirâmide são simplesmente derivados de quaisquer códigos existentes (de preferência, códigos MDS [18]) e, portanto, todos os trabalhos existentes sobre como otimizar a codificação / descodificação são aplicados diretamente. Os códigos de pirâmide generalizados são códigos novos radicalmente avançados, que podem melhorar ainda mais a confiabilidade e / ou a eficiência de acesso nos códigos básicos de pirâmide. Além disso, definimos uma condição necessária para que qualquer padrão de falha seja recuperável e mostre que os Códigos de Pirâmide generalizados são ótimos sob a condição. Para o nosso melhor conhecimento, este é o primeiro trabalho a definir tal condição e os códigos de pirâmide generalizados são os únicos códigos não-MDS conhecidos com essa propriedade ideal.
Esquemas flexíveis de códigos de pirâmide para comercializar espaço para eficiência de acesso em sistemas confiáveis de armazenamento de dados
O portal Infona usa cookies, ou seja, cadeias de texto salvas por um navegador no dispositivo do usuário. O portal pode acessar esses arquivos e usá-los para lembrar os dados do usuário, como as configurações escolhidas (exibição de tela, idioma da interface, etc.) ou seus dados de login. Ao usar o portal Infona, o usuário aceita a gravação automática e o uso dessas informações para fins de operação do portal. Mais informações sobre o assunto podem ser encontradas na Política de Privacidade e nos Termos de Serviço. Ao fechar esta janela, o usuário confirma que leram as informações sobre o uso de cookies e aceitam a política de privacidade e a forma como os cookies são usados pelo portal. Você pode alterar as configurações de cookies no seu navegador.
INFONA - portal de comunicação científica.
Abstrato.
Identificadores.
Atribuição do usuário.
Atribuição remova a confirmação.
Você vai remover essa tarefa. Você tem certeza?
Cheng Huang.
Microsoft Res., Redmond.
Minghua Chen.
Microsoft Res., Redmond.
Microsoft Res., Redmond.
Informação adicional.
Compartilhar.
Exportar para bibliografia.
Relatar um erro / abuso.
Enviando o relatório falhou.
Enviando o relatório falhou. Por favor, tente novamente. Se o erro persistir, entre em contato com o administrador, escrevendo para support@infona. pl.
Opções de acessibilidade.
Você pode ajustar o tamanho da fonte pressionando uma combinação de teclas:
Você pode alterar os elementos ativos na página (botões e links) pressionando uma combinação de teclas:
TAB vá para o próximo elemento SHIFT + TAB ir para o elemento anterior.
Esquemas flexíveis de códigos de pirâmide para comercializar espaço para eficiência de acesso em sistemas confiáveis de armazenamento de dados
. de forma adequada, não foi examinado adequadamente. Devido à escala dos sistemas de armazenamento de produção, falhas de componentes e indisponibilidade transitória não são mais eventos raros, mas ocorrem de forma bastante regular [= - = Ford et al. 2018 - = -]. Transações ACM de dados em armazenamento, Vol. 9, nº 1, artigo 3, data de publicação: março de 2018.Códigos de pirâmide: esquemas flexíveis para o espaço comercial 3: 3 durante falhas e a indisponibilidade agora impacta SL.
XORing Elephants: Novel Erasure Codes for Big Data ⇤
Compreender as falhas da rede nos centros de dados: medição, análise e implicações.
. envolvido no evento. Observe que os eventos registrados não resultam necessariamente em uma interrupção do serviço devido a técnicas de mitigação de falhas, como redundância de rede [1] e replicação de dados e computação = - = [11, 27] - = -, tipicamente implantados em centros de dados. • Analisando a eficácia da redundância da rede. Idealmente, as operadoras querem mascarar todas as falhas antes que os aplicativos sofram alguma interrupção. Cenário de dados atual.
Códigos de regeneração simples: codificação de rede para armazenamento em nuvem.
Themis: um MapReduce E / E-Efficient.
. O impacto citado das falhas é crítico Componente Node Disk Rack Falha taxas 4,3 meses 2-4% anualizado 10,2 anos Tabela 1: taxas de falha no nível de componente observadas em um centro de dados do Google, conforme relatado em = - = [12] - = -. para escolher o modelo de tolerância a falhas apropriado. MapReduce foi projetado para clusters de muitos milhares de máquinas que utilizam hardware de baixo custo e com problemas de falha [8]. Por exemplo, a Tabela 1 s.
2018. Na busca da recuperação ótima do I / O a partir de falhas de disco.
. codificação eficiente (Seção 2). Os sistemas de armazenamento em nuvem executam a decodificação de apagamento ao recuperar as falhas do disco e ao executar atualizações do sistema. As atualizações ocorrem com freqüência - muitas vezes são contínuas = - = [7] - = - e minimizando a degradação de desempenho de limites de E / S. As lojas de arquivo profundas incluem dados quase nunca lidos, mas precisam ser armazenados para fins regulatórios ou de arquivamento. Para esses dados, o único wo.
Uma Solução aos Desafios da Rede de Recuperação de Dados.
. continuando a coletar medidas, incluindo métricas, além das apresentadas neste artigo. 5 Trabalho relacionado Houve vários estudos sobre estatísticas de falhas em sistemas de armazenamento, por exemplo, veja = - = [6, 7] - = - e as referências nele contidas. Em [8], os autores realizam uma comparação teórica de códigos de replicação e apagamento para sistemas de armazenamento peer-to-peer. No entanto, a configuração considerada não é ta.
Thialfi: Um Serviço de Notificação de Cliente para Aplicações de Escala na Internet.
. block store [13], e Zookeeper [15] fornece um serviço de coordenação de grupo altamente confiável. As provisões de Tialfi para a tolerância a falhas baseiam-se em experiência prática emergente com serviços de infra-estrutura = - = [3, 9, 11, 21] - = -. Nossa experiência com variabilidade de desempenho e falhas de comunicação é consistente com essas observações. Mas, ao contrário de muitos serviços de infra-estrutura existentes, o Thialfi é explicitamente projetado para co.
PREFAIL: uma ferramenta programável para injeção de múltiplas falhas.
. Eless para injetar falhas adicionais, pois as falhas de E / S levarão a falhas de qualquer maneira. Outro bom exemplo é o protocolo de posicionamento de dados compatível com rack comum em muitos sistemas de nuvem para garantir alta disponibilidade = - = [14, 38] - = -. O protocolo deve garantir que as réplicas de arquivos devem ser colocadas em vários racks, de modo que, se um rack cair, o arquivo pode ser acessado a partir de outros racks. Nesse cenário, se o testador quiser.
Cache pequeno, grande efeito: balanceamento de carga provável para serviços de cluster com partidas aleatórias.
. mais desafios. Hoje, numerosas empresas operam o armazenamento e o processamento de clusters nesta escala, com exemplos familiares, incluindo as células BigTable e GFS do Google (1000 a 7000 nós em um cluster = - = [17] - = -), o armazenamento de fotos do Facebook (20 petabytes de dados [ 8]), o cluster de mineração de dados da Microsoft (1800 nós [21]) e o cluster Hammer do Yahoo (3800 nós [27]). Como resultado, os designers de sistemas devem ser cada vez mais.
Esquemas flexíveis de códigos de pirâmide para comercializar espaço para eficiência de acesso em sistemas confiáveis de armazenamento de dados
. Códigos de raiva Aplicamos a mesma análise de confiabilidade aos códigos de apagamento do estado do sistema projetados especificamente para sistemas de armazenamento, como códigos Weaver [18], códigos HoVer [19] e códigos de combinação escalonada = - = [20] - = -. Examinamos o tradeoff entre custo de reconstrução e sobrecarga de armazenamento quando esses códigos são pelo menos tão confiáveis quanto a 3-replicação. Os resultados são plotados na Figura 6. A sobrecarga de armazenamento da Weav.
Repensando códigos de apagamento para sistemas de arquivos em nuvem: Minimização de E / S para recuperação e leitura degradada.
. surge, cada bloco selado é recodificado independentemente. Houve algum trabalho diminuindo os custos de E / S em sistemas com código de apagamento. Em particular, WEAVER [19], Pyramid [23] e Stepped Combination Codes = - = [18] - = - foram projetados para diminuir os custos de E / S na recuperação. No entanto, todos esses códigos são não-MDS, o que significa que eles não têm a eficiência de armazenamento que os sistemas de armazenamento em nuvem exigem. O REO RAI.
2018. Na busca da recuperação ótima do I / O a partir de falhas de disco.
. odes está em diferentes matrizes do gerador, e maneiras diferentes de armazenar os bits em discos diferentes. Por exemplo, Greenan et al definem um código "plano" como aquele em que cada bit é armazenado em um disco diferente = - = [9] - = -. Assim, a Figura 1 pode representar um código plano para um sistema de 8 discos. Figura 1: codificação de apagamento como um produto vetor matriz. Cada bit na palavra de código é representado por uma linha da matriz do gerador. Quando d.
Uma abordagem híbrida para a recuperação do disco com falha na utilização de códigos RAID-6: Algoritmos e avaliação de desempenho.
Códigos SD: Códigos de Erasição Projetados para Como os Sistemas de Armazenamento Realmente Falham.
. O foco deste trabalho é em códigos MDS em ambientes de codificação de apagamento mais clássicos. Os códigos não-MDS foram explorados recentemente por causa de seus custos reduzidos de E / S e aplicabilidade em sistemas muito grandes = - = [17, 21, 28, 30] - = -. Os códigos SD não são estritamente MDS, porque eles não toleram as falhas de nenhum bloco mr + s em uma faixa. No entanto, ao contrário do trabalho anterior, abordam os modos de falha heterogêneos que atuam di.
Códigos de Erass de Setor-Disco (SD) para Modos de Falha Mista em Sistemas RAID.
Arrays de discos tolerantes de duas falhas de autoajuste.
. A oferta oferece vantagens operacionais, a sobrecarga de armazenamento com os custos associados em hardware e energia é muito grande. Muitos sistemas resilientes de duas falhas foram propostos no passado [5], [6], = - = [7] - = -, [8]. Propomos um esquema antigo e simples em que cada parte de dados do cliente faz parte de duas faixas de confiabilidade diferentes que englobam discos de dados e uma paridade adicional cada. Gerenciando esta simples la.
. de forma adequada, não foi examinado adequadamente. Devido à escala dos sistemas de armazenamento de produção, falhas de componentes e indisponibilidade transitória não são mais eventos raros, mas ocorrem de forma bastante regular [= - = Ford et al. 2018 - = -]. Transações ACM de dados em armazenamento, Vol. 9, nº 1, artigo 3, data de publicação: março de 2018.Códigos de pirâmide: esquemas flexíveis para o espaço comercial 3: 3 durante falhas e a indisponibilidade agora impacta SL.
XORing Elephants: Novel Erasure Codes for Big Data ⇤
Compreender as falhas da rede nos centros de dados: medição, análise e implicações.
. envolvido no evento. Observe que os eventos registrados não resultam necessariamente em uma interrupção do serviço devido a técnicas de mitigação de falhas, como redundância de rede [1] e replicação de dados e computação = - = [11, 27] - = -, tipicamente implantados em centros de dados. • Analisando a eficácia da redundância da rede. Idealmente, as operadoras querem mascarar todas as falhas antes que os aplicativos sofram alguma interrupção. Cenário de dados atual.
Códigos de regeneração simples: codificação de rede para armazenamento em nuvem.
Themis: um MapReduce E / E-Efficient.
. O impacto citado das falhas é crítico Componente Node Disk Rack Falha taxas 4,3 meses 2-4% anualizado 10,2 anos Tabela 1: taxas de falha no nível de componente observadas em um centro de dados do Google, conforme relatado em = - = [12] - = -. para escolher o modelo de tolerância a falhas apropriado. MapReduce foi projetado para clusters de muitos milhares de máquinas que utilizam hardware de baixo custo e com problemas de falha [8]. Por exemplo, a Tabela 1 s.
2018. Na busca da recuperação ótima do I / O a partir de falhas de disco.
. codificação eficiente (Seção 2). Os sistemas de armazenamento em nuvem executam a decodificação de apagamento ao recuperar as falhas do disco e ao executar atualizações do sistema. As atualizações ocorrem com freqüência - muitas vezes são contínuas = - = [7] - = - e minimizando a degradação de desempenho de limites de E / S. As lojas de arquivo profundas incluem dados quase nunca lidos, mas precisam ser armazenados para fins regulatórios ou de arquivamento. Para esses dados, o único wo.
Uma Solução aos Desafios da Rede de Recuperação de Dados.
. continuando a coletar medidas, incluindo métricas, além das apresentadas neste artigo. 5 Trabalho relacionado Houve vários estudos sobre estatísticas de falhas em sistemas de armazenamento, por exemplo, veja = - = [6, 7] - = - e as referências nele contidas. Em [8], os autores realizam uma comparação teórica de códigos de replicação e apagamento para sistemas de armazenamento peer-to-peer. No entanto, a configuração considerada não é ta.
Thialfi: Um Serviço de Notificação de Cliente para Aplicações de Escala na Internet.
. block store [13], e Zookeeper [15] fornece um serviço de coordenação de grupo altamente confiável. As provisões de Tialfi para a tolerância a falhas baseiam-se em experiência prática emergente com serviços de infra-estrutura = - = [3, 9, 11, 21] - = -. Nossa experiência com variabilidade de desempenho e falhas de comunicação é consistente com essas observações. Mas, ao contrário de muitos serviços de infra-estrutura existentes, o Thialfi é explicitamente projetado para co.
PREFAIL: uma ferramenta programável para injeção de múltiplas falhas.
. Eless para injetar falhas adicionais, pois as falhas de E / S levarão a falhas de qualquer maneira. Outro bom exemplo é o protocolo de posicionamento de dados compatível com rack comum em muitos sistemas de nuvem para garantir alta disponibilidade = - = [14, 38] - = -. O protocolo deve garantir que as réplicas de arquivos devem ser colocadas em vários racks, de modo que, se um rack cair, o arquivo pode ser acessado a partir de outros racks. Nesse cenário, se o testador quiser.
Cache pequeno, grande efeito: balanceamento de carga provável para serviços de cluster com partidas aleatórias.
. mais desafios. Hoje, numerosas empresas operam o armazenamento e o processamento de clusters nesta escala, com exemplos familiares, incluindo as células BigTable e GFS do Google (1000 a 7000 nós em um cluster = - = [17] - = -), o armazenamento de fotos do Facebook (20 petabytes de dados [ 8]), o cluster de mineração de dados da Microsoft (1800 nós [21]) e o cluster Hammer do Yahoo (3800 nós [27]). Como resultado, os designers de sistemas devem ser cada vez mais.
No comments:
Post a Comment