Obtenha mais valor de seu analytics rapidamente.
IA e analytics otimizados na nuvem
No mundo da computação em nuvem, desempenho é literalmente dinheiro: controle de custos, receita e tempo para obter valor.
Estabelecer a base de maior desempenho para sua organização é fundamental para atender às necessidades atuais e se preparar para o futuro.
A pesquisa apresentada mostra que o SAS® Viya® é a plataforma de analytics mais econômica e com melhor desempenho disponível para usuários corporativos de nuvem. Isso se traduz diretamente em uma força de trabalho produtiva e em um analytics avançado.
A sabedoria convencional da computação é que o desempenho é igual ao tempo. O estado de desempenho ideal é usar seus recursos ao máximo sem afetar o tempo de execução.
À direita, você terá uma visualização super simplificada dos resultados. Na Figura 1, o tempo de execução é reduzido pela metade quando os núcleos são duplicados.Na Figura 2, a CPU é usada até a capacidade máxima enquanto a carga de trabalho está sendo executada. Em um ambiente de nuvem, uma plataforma de analytics deve operar dentro desses extremos para ter o melhor desempenho possível em termos de custo.
Figura 1: Tempo de execução vs. núcleos disponíveis
Figura 2: Uso da CPU vs. núcleos disponíveis
Os principais motivos pelos quais as empresas se afastam da nuvem
Ficar muito aquém desse estado ideal é um dos principais motivos pelos quais as empresas abandonam as estratégias de nuvem que adotaram sem entender completamente os custos de execução de suas cargas de trabalho na nuvem. O analista de setor da IDC afirma que 80% dos clientes de nuvem pública repatriaram algumas cargas de trabalho para fora da nuvem.
Os principais impulsionadores são:
19%
Segurança
14%
Desempenho
12%
CUSTO
12%
Controle
Por quê?
As organizações sem um processo de otimização da nuvem tendem a gastar mais de 40% devido a custos não gerenciados, uso inesperado, projeto e implementação abaixo do ideal, produção de tamanho errado e desperdício em ambientes de desenvolvimento e teste, entre outros motivos. O SAS pode ajudar a evitar esse cenário, definindo com precisão o escopo de sua transformação analítica antes de implementar sua estratégia de migração para a nuvem ou complementar a estratégia de nuvem já em andamento.
A aplicação de diagnósticos de ecossistema permite que você veja quais cargas de trabalho consomem mais recursos e tempo de execução, gere o dimensionamento do ambiente de nuvem e da carga de trabalho e determine justificativas comerciais para estratégias de nuvem e dados que considerem as interdependências entre dados, locais, rotinas e usuários.
O conhecimento detalhado de suas métricas de consumo fornece dois insights importantes. O primeiro é uma previsão razoável das expectativas de custo e desempenho da nuvem e onde elas podem ser melhoradas. O segundo é a criação de um mapa validado de quais cargas de trabalho e dados se beneficiam de um ambiente de nuvem (e quais não devem migrar de forma alguma).
Os gastos com a nuvem estão crescendo ano a ano e se tornando uma parte essencial dos custos de uma empresa. Como resultado, as despesas com infraestrutura são um item de linha de importância crescente para os executivos seniores. Estima-se que 80% das organizações ultrapassarão seus orçamentos para infraestrutura as a service (IaaS) como resultado direto da má governança da otimização da nuvem e dos gastos excessivos antecipados com compromissos de nuvem que são muito pequenos para suportar o consumo do ecossistema analítico.
Os gastos com a nuvem estão crescendo ano a ano e se tornando uma parte essencial dos custos de uma empresa. Como resultado, as despesas com infraestrutura são cada vez mais importantes para os executivos seniores.
Encontrando a harmonia de custo-benefício apesar dos requisitos em constante mudança
Os cálculos mudam à medida que as restrições são introduzidas. Os dados que alimentam a matemática são limitados pelo chip e pela distribuição da matemática. As alterações nos dados e na forma como esses dados são distribuídos para o chip podem alterar o desempenho, o custo e a precisão.
O SAS Viya ajuda você a alcançar a harmonia perfeita de matemática, dados e hardware de chip de várias maneiras.
1
O SAS provou ser uma linguagem de alto desempenho. Nossos algoritmos otimizam o uso da CPU, o tempo de execução, o uso da memória e a velocidade de E/S, muitas vezes eliminando a necessidade de adquirir infraestrutura adicional para compensar o uso ineficiente da CPU ou os altos requisitos de memória - problemas frequentes na execução de grandes trabalhos que se traduzem em despesas adicionais desnecessárias. Dessa forma, o custo de computação é combinado com o desempenho para obter os melhores resultados.
2
O SAS Viya é inclusivo; ele adota e aprimora algoritmos de código aberto. Muitos cientistas de dados que escrevem em Python, R ou outras linguagens podem aproveitar prontamente a estabilidade, o desempenho, a acessibilidade e a governança do modelo. Você também pode usar sua capacidade de executar qualquer novo algoritmo como parte dos torneios de modelos existentes. O SAS identifica ativamente os principais algoritmos de código aberto e os incorpora ao SAS Viya. Se um algoritmo for melhor em paralelizar rapidamente, maximizar o uso do núcleo ou oferecer novos avanços, o SAS estará pronto para adotar e refinar sua abordagem para obter o máximo de resultados.
3
O desempenho de custo ideal pode ser buscado de forma confiável chamando as ações do SAS Cloud Analytic Services (CAS) a partir do Python. O SAS ajuda você a escolher entre todas as opções disponíveis para ajudar a garantir o desempenho e a repetibilidade do pipeline.
O SAS Viya é inclusivo; ele adota e aprimora algoritmos de código aberto. Muitos cientistas de dados que escrevem em Python, R ou outras linguagens podem aproveitar prontamente a estabilidade, o desempenho, a acessibilidade e a governança do modelo.
Como é a harmonia de desempenho?
Considere esta comparação de execuções de carga de trabalho para regressão logística (um algoritmo de análise comum) entre o SAS Viya e os pacotes de código aberto (OSPs) quando a tecnologia de monitoramento foi implantada nas sessões para observar seu desempenho.
Exibir detalhes da execução da carga de trabalho
As execuções de carga de trabalho usaram o mesmo conjunto de dados, código, instâncias de driver e nós de trabalho por teste. As execuções do SAS foram mapeadas automaticamente para os núcleos disponíveis. Os pacotes de código aberto exigiam alterações manuais para usar todos os núcleos disponíveis. Cada teste foi realizado cinco vezes por pacote para identificar anomalias. Nenhuma anomalia foi observada ou removida. O agregado dos cinco testes é representado graficamente nos vários nós de trabalho.
O SAS Viya fornece o resultado esperado: A adição de núcleos mostrou que o tempo de execução do SAS foi de 12% a 700% mais rápido do que os pacotes de código aberto nos nós de trabalho. O pacote de código aberto 1, que é o mais próximo do SAS em oito núcleos, não acompanhou os tempos de execução do SAS à medida que os núcleos foram adicionados. Isso resulta em custos mais altos sem melhoria no tempo de execução (ou, às vezes, em um tempo de execução mais longo).
A Figura 4 mostra como a CPU foi bem utilizada durante a execução da carga de trabalho. Como o SAS Viya tem tempos de execução eficientes, os requisitos de CPU em todos os núcleos são mais altos para oito e 16 núcleos nesse teste. A linha rosa em declínio indica que a carga de trabalho está prestes a ser concluída, e os núcleos livres podem agora ser realocados para outro trabalho, conforme necessário. Os pacotes de código aberto permanecem com alto uso de CPU nos nós de trabalho, mas não estão melhorando muito os tempos de execução, semelhante a dirigir um carro em segunda marcha sem ir mais rápido.
Figura 3: Tempos de execução vs. núcleos disponíveis
Figura 4: Uso da CPU vs. núcleos disponíveis
O SAS Viya fornece o resultado esperado: A adição de núcleos mostrou que o tempo de execução do SAS foi de 12% a 700% mais rápido do que os pacotes de código aberto nos nós de trabalho.
O valor do desempenho otimizado
Desempenho é dinheiro no mundo da computação em nuvem. Para economizar custos desnecessários, a maioria das empresas opta por desligar os recursos da nuvem quando concluem a execução de suas cargas de trabalho de analytics ou em horários fora de pico para ambientes que não sejam de produção.
Para obter eficiência de custos e maximizar a produtividade, você deve levar em conta o tempo em que os recursos da nuvem são usados, pois isso se traduz diretamente em gastos com a nuvem, e o número de cargas de trabalho que você pode executar quando os recursos da nuvem estão em funcionamento.
Figura 5: Número de execuções em uma hora com 100% de utilização da CPU
A Figura 5 mostra que uma organização que usa todo o poder de computação disponível com o SAS Viya pode executar até 19 vezes mais cargas de trabalho em comparação com o pacote de código aberto 2 e 5,5 vezes mais do que o pacote de código aberto 1. Como resultado, as organizações se beneficiam de várias maneiras:
- Reduzindo a capacidade de computação necessária para minimizar os custos e, ao mesmo tempo, alcançar o resultado comercial desejado.
- Ou usando o mesmo poder de computação e:
- Executando mais cargas de trabalho de analytics em menos tempo para obter melhores resultados devido à natureza iterativa dos processos analíticos (ajustar, executar, examinar os resultados e repetir).
- Desligando os recursos da nuvem mais rapidamente para economizar custos.
Vale mencionar que tempos de execução potencialmente melhores poderiam ser obtidos em todos os três casos por meio de otimização adicional do código (as configurações padrão foram usadas para SAS Viya e OSPs), mas isso exigiria níveis significativos de especialização, tempo e esforço que se traduzem em um grande aumento nos custos.
Nossa análise mostra que o resultado é uma redução significativa no custo da computação e um aumento na produtividade que pode ser obtido pelas organizações quando o desempenho é otimizado. Agora você pode ver por que o SAS Viya é um líder em custo-benefício para analytics.
A comunidade de desenvolvimento de código aberto é vasta mas ser o melhor depende de oferecer as garantias certas
A nuvem e a computação distribuída introduzem novas restrições que afetam o desempenho, os custos de computação e a repetibilidade e precisão dos resultados. A comparação dessas cargas de trabalho do SAS e do OSP é apenas um exemplo de como o SAS está avaliando os principais algoritmos de código aberto em relação ao SAS Analytics.
Ao adotar algoritmos de código aberto, o SAS Viya permite que seus analistas busquem sempre o melhor resultado, independentemente do algoritmo. No entanto, quando se trata de colocar o analytics em produção, é necessário oferecer garantias, inclusive a capacidade de generalizar para diferentes tamanhos, tipos e formas de conjuntos de dados e, ao mesmo tempo, gerenciar o desvio do modelo.
Um algoritmo SAS é testado quanto a essas qualidades:
(eficaz e eficiente; consciente dos custos; repetível; preciso; ético e responsável)
O SAS também continua testando algoritmos de código aberto para avaliar sua capacidade de oferecer as mesmas garantias. Se um algoritmo de código aberto oferecer a maioria dessas garantias, o SAS o aprimorará até o ponto em que possa ser adotado na plataforma SAS Viya. Isso permite que os usuários dos algoritmos do SAS Viya passem menos tempo codificando, testando, interpretando e tentando obter uma melhor harmonia entre a matemática, os dados e o chip. Isso os libera para se concentrarem na entrega de resultados.
NOVA CONSIDERAÇÃO Nº. 1
É preciso, mas é repetível?
Uma preocupação crescente com os custos não gerenciados da nuvem levou à criação da FinOps Foundation em 2019. Um hub de práticas recomendadas de finanças em nuvem e provedor de certificação, ele fornece orientação sobre esta nova disciplina de gerenciamento financeiro e orienta a mudança cultural precipitada pela nuvem. O objetivo é maximizar o valor comercial dos gastos com a nuvem, o que, de acordo com a FinOps Foundation, exige que "as equipes de engenharia, finanças e negócios colaborem nas decisões de gastos orientadas por dados". É um novo mundo no qual cada função assume a responsabilidade pelo uso da nuvem, tendo em mente os custos da nuvem e fazendo coletivamente o melhor uso das vantagens de custo variável oferecidas pela computação em nuvem.
Essas considerações financeiras levam à necessidade de empresas orientadas por analytics para melhorar a precisão e a repetibilidade. Quando a harmonia "perfeita" da matemática, dos dados e do chip não é perfeita, os erros e as imprecisões se proliferam. Um único processador pode facilmente gerar uma única média com precisão. Porém, com dados distribuídos, a capacidade de produzir médias é limitada pela quantidade de dados que pode caber em um chip específico. A menos que um princípio de organização central seja aplicado, as médias distribuídas produzirão uma média macro incorreta. Pode ser rápido, mas não é preciso e nem repetível.
Cada vez que você distribuir a matemática para as fichas de uma maneira diferente, ela produzirá uma resposta diferente. O Python gerencia essa variabilidade exigindo a configuração adequada da matemática para o chip. Embora isso possa ser eficaz, requer a codificação manual por um usuário altamente especializado no mapeamento de matemática, dados e chip - reduzindo a produtividade, aumentando os custos da nuvem e colocando em risco os resultados analíticos.
Como o SAS alivia o usuário desses encargos?
O SAS Viya sinaliza que o processo produzirá uma resposta imprecisa se for distribuído, indicando que o melhor caminho seria executar um processo de thread único para executar essa carga de trabalho, reduzindo o risco de imprecisão.
Dessa forma, o SAS Viya cria uma base sólida para os fundamentos da modelagem preditiva: desempenho de custo, produtividade, precisão e repetibilidade. O SAS Viya ajuda a eliminar os riscos comuns enfrentados pelos usuários que adotam o código aberto para tirar proveito dos baixos custos iniciais percebidos.
A execução de um pacote de analytics e de um mecanismo de execução prontos para uso, ao mesmo tempo em que se paga por compromissos de nuvem em massa, custa mais caro e pode produzir respostas inferiores. Seja migrando da computação tradicional no local ou reavaliando sua economia de nuvem existente, o SAS Viya pode ajudá-lo a equilibrar como os compromissos de nuvem são aplicados a cargas de trabalho variáveis com maior flexibilidade e velocidade. Acreditamos que esse é o estado ideal do desempenho do analytics na nuvem.
É um novo mundo no qual cada função assume a responsabilidade pelo uso da nuvem, tendo em mente os custos da nuvem e fazendo coletivamente o melhor uso das vantagens de custo variável oferecidas pela computação em nuvem.
NOVA CONSIDERAÇÃO NO. 2
O custo restringe o acesso e a inovação?
O desempenho é mais do que economizar tempo - um melhor desempenho significa que sua organização pode produzir mais. O aprendizado de máquina não supervisionado resulta em muitos modelos "cegos" que podem gerar boas respostas, mas pagar por cada iteração desse grande projeto é muito menos do que o ideal. Isso é especialmente verdadeiro quando a tecnologia é lenta: os cientistas de dados limitarão seu torneio a menos modelos para otimizar o custo.
Em exemplos como o compartilhado na Figura 4, nossa pesquisa demonstrou que o SAS pode ser executado duas vezes mais rápido do que os principais OSPs que usam nove vezes mais infraestrutura. Isso permite que os cientistas de dados executem mais modelos sem aumentar os custos.
Em resumo, torneios maiores equivalem a respostas melhores. Mas a estrutura de custos da nuvem exige uma estrutura adicional que não foi considerada em ecossistemas de computação anteriores: atingir os objetivos desejados e, ao mesmo tempo, garantir valor dentro das restrições de custo.
O aprendizado não supervisionado e o tempo de modelagem ocorrem enquanto o medidor está sendo executado na nuvem.Isso oferece uma nova dinâmica para os usuários que agora são responsáveis pelo custo de seu tempo de design analítico.
Além disso, os cientistas de dados da sociedade e analistas de negócios precisam ser capacitados para realizar análises de nível superior sem serem sobrecarregados por restrições de custo ou por escrever uma grande quantidade de código. É por isso que as interfaces no-code/low-code com algoritmos SAS podem ser incrivelmente poderosas. Eles evitam a codificação e a sobrecarga. Eles reduzem o tempo de codificação dos modelos, oferecem facilidade de acesso a novos usuários e eliminam a necessidade de garantir que os dados, o algoritmo matemático e o chip estejam o mais próximo possível da harmonia perfeita.
NOVA CONSIDERAÇÃO NO. 2
Essa nova dinâmica destaca a importância do custo-benefício e o motivo pelo qual o SAS está altamente sintonizado com essa questão. No mundo local, as restrições são resolvidas com a compra de mais núcleos e a capitalização da despesa, um compromisso de longo prazo com gastos previsíveis de TI. No mundo da nuvem, os gastos com TI acontecem na borda, com recursos dimensionados de acordo com a necessidade. Isso cria desafios para a previsão de gastos com TI e prejudica a capacidade da organização de se beneficiar de compromissos de nuvem de longo prazo com grandes descontos. Essa mudança no comportamento de compra aumenta o risco de pagar a mais pela computação em nuvem.
O outro elemento dessa dinâmica é que as decisões de custo estão agora nas mãos das equipes que executam os modelos, e não nos departamentos de TI ou de compras. Na nuvem, os engenheiros de sistemas adquirem a infraestrutura, escolhem o algoritmo, selecionam a quantidade de dados e agora assumem a responsabilidade fiscal quando executam suas cargas de trabalho.
Como resultado, as organizações estão tentando encontrar FinOps unicórnio para orientar executivos, finanças, engenheiros de sistemas e proprietários de produtos em direção a uma engenharia mais responsável do ponto de vista fiscal na nuvem.
Os usuários de analytics querem gastar seu tempo de forma eficaz para encontrar melhores soluções de negócios. Em vez disso, eles estão gastando tempo escrevendo código, garantindo que ele seja adaptado para ter um bom desempenho em termos de custo, ou se limitando a criar e testar menos algoritmos e modelos para ficar dentro das restrições de custo. Alguns usuários podem até ser totalmente excluídos da busca por analytics devido a essas novas considerações.
Figura 6: Uma FinOps unicórnio coordena o financiamento em nuvem entre as partes interessadas
O desempenho é mais do que economizar tempo - um melhor desempenho significa que sua organização pode produzir mais.
Uma abordagem de custo-benefício
A obtenção de desempenho de custo na nuvem oferece às organizações a liberdade de escolher como otimizar sua estratégia de analytics para reduzir os custos e maximizar a produtividade. O SAS sugere uma abordagem de aprimoramento contínuo:
Seja flexível e inovador, permitindo que os usuários gerenciem seu consumo de nuvem.
A capacitação cultural do gerenciamento financeiro da nuvem é essencial para evitar custos excessivos da nuvem e repatriação desnecessária da carga de trabalho. O SAS oferece uma solução para diagnóstico de ecossistema para identificar e melhorar o desempenho de custo do código que consome muitos recursos.
Avalie de forma consistente o desempenho para controlar os custos da nuvem.
Nossa pesquisa mostrou que duas abordagens semelhantes podem ter resultados muito diferentes na nuvem. A capacidade de obter, sem esforço, um melhor desempenho em escala permite que os custos da nuvem sejam alinhados às expectativas. A harmonia perfeita entre matemática, dados e chip permite que os algoritmos sejam executados mais rapidamente e reduz as considerações de custo em várias ordens de magnitude.
A mudança para a nuvem aumentou o potencial de extrair valor inexplorado dos dados, mas também o risco de levar os custos a um território desconhecido. Mudar o comportamento dos cientistas de dados, analistas e engenheiros e o código que eles executam é um novo desafio e um processo em evolução. O SAS Viya oferece o potencial de obter 19 vezes mais valor com o mesmo custo, o que equivale a um retorno contínuo e composto sobre o investimento. Agora está em suas mãos desenvolver uma estratégia eficaz que se concentre na maximização da produtividade e na redução dos custos da nuvem, capitalizando o poder do SAS Viya.
O SAS Viya oferece o potencial de obter 19 vezes mais valor com o mesmo custo, o que equivale a um retorno contínuo e composto sobre o investimento.
SAS e todos os outros nomes de produtos ou serviços do SAS Institute Inc. são marcas registradas ou marcas comerciais do SAS Institute Inc. nos EUA e em outros países. ® indica o registro nos EUA. Outras marcas e nomes de produtos são marcas comerciais de suas respectivas empresas. Direitos autorais © 2023, SAS Institute Inc. Todos os direitos reservados.