banner-image-2024-04-30T02:58:43.481Z

Imagem de Usando blockchain para prevenir fraudes em telecom no tecmundo

Veja como provedores de serviços de comunicação usam blockchain para aumentar suas correntes de valores

Por: Sandhya Nayak, Amandeep Singh, Janki Vora, Luca Marchi, Mathews Thomas, Mike Alexander, Sharath Prasad e Utpal Mangla.
Atualizado em: 8 de outubro de 2019 | 18 de setembro de 2018.
<h2 dir="ltr">Resumo</h2>
Os provedores de servi&ccedil;os de comunica&ccedil;&atilde;o (CSPs) frequentemente encontram problemas relacionados a assinantes em redes m&oacute;veis de CSP e nem sempre t&ecirc;m uma visibilidade clara das atividades de seus assinantes nessas redes. A reconcilia&ccedil;&atilde;o de pagamentos para clientes m&oacute;veis leva tempo e requer a intermedia&ccedil;&atilde;o de c&acirc;maras de compensa&ccedil;&atilde;o terceirizadas com os custos associados. A detec&ccedil;&atilde;o e preven&ccedil;&atilde;o de fraudes continuam sendo quest&otilde;es relevantes para a maioria dos CSPs, custando mais de 38 bilh&otilde;es de d&oacute;lares anualmente. Assinantes fraudulentos podem acessar uma rede CSP dom&eacute;stica enquanto clonam a identidade do assinante m&oacute;vel. O Blockchain leva esses CSPs para uma &uacute;nica rede Hyperledger Fabric de blockchain, permitindo a troca direta de informa&ccedil;&otilde;es com transa&ccedil;&otilde;es imut&aacute;veis e executadas com base em um modelo de consenso que usa regras de contrato inteligentes. Isso melhora a visibilidade do CSP no assinante, permite uma reconcilia&ccedil;&atilde;o r&aacute;pida de pagamentos e reduz transa&ccedil;&otilde;es fraudulentas.
Esse padr&atilde;o de desenvolvedor mostra como configurar um aplicativo m&oacute;vel de telecomunica&ccedil;&otilde;es com contratos inteligentes que governam as transa&ccedil;&otilde;es realizadas pelo SubscriberSims, que pode se mover pelas &aacute;reas de cobertura de v&aacute;rios CSPs; esses CSPs podem atuar como operadores dom&eacute;sticos ou parceiros de roaming do SubscriberSims para rastrear as atividades dos usu&aacute;rios m&oacute;veis na rede.
<h2 dir="ltr">Descri&ccedil;&atilde;o</h2>
<h3 dir="ltr">Essa rede comercial inclui:</h3>
<ul dir="ltr">
<li>
<div>SubscriberSims, que representa um &uacute;nico N&uacute;mero de Diret&oacute;rio Internacional de Assinantes de esta&ccedil;&atilde;o m&oacute;vel. Em outras palavras, cada SubscriberSim representa um n&uacute;mero de celular;</div>
</li>
<li>
<div>CSPs, que atuam como o operador dom&eacute;stico ou o parceiro de roaming do SubscriberSim.</div>
</li>
</ul>
<img alt="IBM" src="https://tm.ibxk.com.br/2020/09/09/ibm-09181527339148.png" />
<h3 dir="ltr">H&aacute; quatro cen&aacute;rios cobertos neste padr&atilde;o de c&oacute;digo:</h3>
<ul dir="ltr">
<li>
<div>Identifica&ccedil;&atilde;o de assinante m&oacute;vel - Um SubscriberSim se move para um novo local que n&atilde;o faz parte de sua rede dom&eacute;stica. Ele est&aacute; presente na rede do parceiro de roaming usando a fun&ccedil;&atilde;o de descoberta, autenticado como um usu&aacute;rio v&aacute;lido, usando a fun&ccedil;&atilde;o de autentica&ccedil;&atilde;o e suas taxas de chamada s&atilde;o atualizadas usando a fun&ccedil;&atilde;o updateRate.</div>
</li>
<li>
<div>Faturamento de assinante m&oacute;vel - Depois de autorizado, o SubscriberSim pode usar a rede do parceiro m&oacute;vel para iniciar uma chamada. As fun&ccedil;&otilde;es callOut e callEnd podem ser usadas para iniciar e finalizar a chamada. As cobran&ccedil;as pelo uso da rede s&atilde;o registradas instantaneamente entre a operadora dom&eacute;stica e o parceiro de roaming com base em seu contrato, conforme definido no contrato inteligente. A fun&ccedil;&atilde;o callPay &eacute; executada para calcular os encargos da chamada.</div>
</li>
<li>
<div>Identifica&ccedil;&atilde;o de fraude - Um SubscriberSim fraudulento (com o mesmo MSISDN de um SubscriberSim existente) &eacute; adicionado. A fun&ccedil;&atilde;o de autentica&ccedil;&atilde;o identifica o usu&aacute;rio como fraudulento e marca o SubscriberSim com isValid = Fraude no registro. Isso evita que o assinante fraudulento inicie qualquer chamada.</div>
</li>
<li>
<div>Gerenciamento de excedente - um assinante m&oacute;vel inicia uma chamada e a fun&ccedil;&atilde;o callOut &eacute; executada. O contrato inteligente reconhece que o assinante est&aacute; potencialmente atingindo o limite de excedente. O operador notifica o assinante sobre o alcance do limite excedente e especifica as poss&iacute;veis altera&ccedil;&otilde;es tarif&aacute;rias. Solicita-se ao assinante que aceite ou negue as novas cobran&ccedil;as, a resposta do assinante &eacute; registrada no raz&atilde;o e chamadas futuras (incluindo esta) s&atilde;o iniciadas ou negadas com base em se o assinante aceitou ou negou as cobran&ccedil;as excedentes. Se o assinante de roaming aceitar as cobran&ccedil;as, todas as chamadas futuras (incluindo esta) far&atilde;o uso do overageRate para calcular as tarifas de chamadas em vez do roamingRate.</div>
</li>
</ul>
<h3 dir="ltr">O valor comercial para os clientes &eacute; o seguinte:</h3>
<ul>
<li dir="ltr">
Disparo autom&aacute;tico de um contrato entre o operador dom&eacute;stico e os parceiros de roaming, aplicando contratos automaticamente
</li>
<li dir="ltr">
Resolu&ccedil;&atilde;o de encargos quase instant&acirc;nea, eliminando processos dispendiosos de terceiros, como c&acirc;maras de compensa&ccedil;&atilde;o
</li>
<li dir="ltr">
Equipar o reposit&oacute;rio com transa&ccedil;&otilde;es verific&aacute;veis entre operadores para resolver disputas
</li>
<li dir="ltr">
Gerenciamento eficaz de identidades nos CSPs para reduzir a fraude de roaming e assinatura
</li>
<li dir="ltr">
Alerta em tempo real de problemas excedentes de dados e chamadas entre partes, resultando em maior satisfa&ccedil;&atilde;o do cliente
</li>
</ul>
<h2 dir="ltr">Fluxo</h2>
<img alt="IBM" src="https://tm.ibxk.com.br/2020/09/09/ibm-09181620741149.png" />
<ul>
<li dir="ltr">
1. O operador de blockchain clona o reposit&oacute;rio GitHub para obter o blockchain para roaming de telecomunica&ccedil;&otilde;es usando o contrato inteligente da IBM Blockchain Platform.
</li>
<li dir="ltr">
2. O operador de blockchain usa o IBM Blockchain Platform Extension for VS Code para empacotar o contrato inteligente.
</li>
<li dir="ltr">
3. O operador blockchain configura e lan&ccedil;a o servi&ccedil;o IBM Blockchain Platform.
</li>
<li dir="ltr">
4. A IBM Blockchain Platform permite a cria&ccedil;&atilde;o de uma rede Hyperledger Fabric em um servi&ccedil;o IBM Kubernetes, permitindo a instala&ccedil;&atilde;o e instancia&ccedil;&atilde;o da blockchain para roaming de telecomunica&ccedil;&otilde;es, usando o contrato inteligente da IBM Blockchain Platform na rede.
</li>
<li dir="ltr">
5. O usu&aacute;rio pode interagir com o contrato inteligente e executar scripts Node.js. (como moveSim.js, callOut.js e callEnd.js) que usam o SDK do Hyperledger Fabric para interagir com a rede implementada no IBM Blockchain Platform e emitir transa&ccedil;&otilde;es
</li>
</ul>
<h2 dir="ltr">Instru&ccedil;&otilde;es</h2>
Pronto para come&ccedil;ar? Confira o <a href="https://github.com/IBM/Blockchain_for_TelcoRoaming_using_IBPV2/blob/master/README.md" target="_blank">LEIA-ME</a> para obter detalhes passo a passo sobre:
<ul>
<li dir="ltr">
1. Clonando o reposit&oacute;rio
</li>
<li dir="ltr">
2. Empacotando o contrato inteligente
</li>
<li dir="ltr">
3. Criando servi&ccedil;os IBM Cloud
</li>
<li dir="ltr">
4. Construindo uma rede
</li>
<li dir="ltr">
5. Implementando blockchain para roaming de telecomunica&ccedil;&otilde;es usando o contrato inteligente da IBM Blockchain Platform na rede
</li>
<li dir="ltr">
6. Conectando o aplicativo &agrave; rede
</li>
<li dir="ltr">
7. Rodando o aplicativo
</li>
</ul>
...
Quer ler mais conte&uacute;do especializado de programa&ccedil;&atilde;o? Conhe&ccedil;a a <a href="https://www.tecmundo.com.br/desenvolvendo-com-ibm-cloud?utm_source=tecmundo&amp;utm_medium=cta&amp;utm_campaign=ibm-blue-profile" target="_blank">IBM Blue Profile</a> e tenha acesso a mat&eacute;rias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e d&ecirc; um upgrade na sua carreira!

thumb-image-2024-04-30T02:58:43.481Z

Usando blockchain para prevenir fraudes em telecom

banner-image-2024-04-30T02:58:43.507Z

Imagem de 5 mercados em expansão para profissionais de IA no tecmundo

Entre tantas indústrias afetadas pela chegada da inteligência artificial, cinco campos estão crescendo bastante graças a essa tecnologia

A <a href="https://www.tecmundo.com.br/inteligencia-artificial" target="_blank">intelig&ecirc;ncia artificial</a> j&aacute; &eacute; uma realidade em diversas ind&uacute;strias; muitos setores aproveitam as vantagens proporcionadas pelos avan&ccedil;os dessa tecnologia que tem transformado significativamente o mundo. A IA &eacute; capaz, por exemplo, de <a href="https://www.tecmundo.com.br/mercado/144138-ibm-inteligencia-artificial-perfil-desenvolvedor.htm" target="_blank">descobrir o perfil de um desenvolvedor</a> de acordo com suas atividades na internet.
Mas quais mercados em expans&atilde;o podem ser interessantes para os profissionais que est&atilde;o aprendendo agora sobre intelig&ecirc;ncia artificial? Entre diversos campos beneficiados por essa tecnologia, separamos cinco nos quais vale a pena ficar de olho.
<h2 dir="ltr">Automa&ccedil;&atilde;o inteligente</h2>
<img alt="Automa&ccedil;&atilde;o inteligente" src="https://tm.ibxk.com.br/2020/09/09/automacao-inteligente-09175230465132.jpg" />Automa&ccedil;&atilde;o inteligente. (Fonte: Shutterstock)
A capacidade de automatizar uma s&eacute;rie de atividades n&atilde;o &eacute; uma caracter&iacute;stica &uacute;nica da intelig&ecirc;ncia artificial, j&aacute; que alguns sistemas complexos tamb&eacute;m conseguem fazer isso; entretanto, tarefas que exigem adapta&ccedil;&atilde;o, agilidade e aprendizagem s&atilde;o realmente beneficiadas pela IA. Um bom e simples exemplo &eacute; a necessidade de detectar gases perigosos dentro de uma mina de escava&ccedil;&atilde;o.
Pesquisadores da Universidade de Engenharia Nacional do Peru (UNI) desenvolveram um rob&ocirc; com quatro rodas que &eacute; capaz de explorar as minas de forma aut&ocirc;noma para identificar metano, di&oacute;xido de carbono e am&ocirc;nia. Utilizando uma s&eacute;rie de sensores, a intelig&ecirc;ncia artificial consegue registrar a pr&oacute;pria localiza&ccedil;&atilde;o e gerar rotas a serem utilizadas quando o n&iacute;vel de algum desses gases estiver elevado.
Portanto, simplesmente automatizar n&atilde;o basta; &eacute; preciso automatizar com intelig&ecirc;ncia, e essa &eacute; uma das &aacute;reas que vai crescer muito no campo da IA.
<h2 dir="ltr">Vis&atilde;o computacional</h2>
<img alt="Vis&atilde;o computacional" src="https://tm.ibxk.com.br/2020/09/09/visao-computacional-09175354950133.jpg" />Vis&atilde;o computacional. (Fonte: Shutterstock)
O campo da vis&atilde;o computacional faz refer&ecirc;ncia &agrave; capacidade de as m&aacute;quinas (especialmente computadores) enxergarem e substitu&iacute;rem o olho humano em v&aacute;rias atividades. Mas por que ir&iacute;amos querer isso?
Existe uma tecnologia de an&aacute;lise de documentos chamada optical character recognition (OCR &mdash; reconhecimento &oacute;tico de caracteres) capaz de escanear e extrair automaticamente informa&ccedil;&otilde;es de um documento. Dessa forma, um rob&ocirc; poderia analisar uma ordem de pagamento, calcular suas taxas, o valor a ser pago e outras informa&ccedil;&otilde;es e processar tudo sem a interfer&ecirc;ncia humana.
Outra ind&uacute;stria que est&aacute; sendo beneficiada &eacute; a automobil&iacute;stica, com o desenvolvimento de carros aut&ocirc;nomos. A vis&atilde;o computacional est&aacute; sendo important&iacute;ssima para tirar do papel o sonho do autom&oacute;vel que dirige sozinho.
<h2 dir="ltr">Reconhecimento de fala e processamento de linguagem humana</h2>
<img alt="Reconhecimento de fala" src="https://tm.ibxk.com.br/2020/09/09/reconhecimento-de-fala-09175517013136.jpg" />Reconhecimento de fala e processamento de linguagem humana. (Fonte: Shutterstock)
Quem utiliza assistentes pessoais j&aacute; experimentou as aplica&ccedil;&otilde;es de reconhecimento de fala e processamento de linguagem humana. Com a ajuda da intelig&ecirc;ncia artificial, esses campos est&atilde;o evoluindo muito, o que muda drasticamente a forma como interagimos com nossos dispositivos, al&eacute;m de ajudar em outras &aacute;reas, como tradu&ccedil;&atilde;o e acessibilidade para pessoas com defici&ecirc;ncia.
<h2 dir="ltr">Log&iacute;stica de produtos, materiais e colaboradores</h2>
<img alt="Log&iacute;stica de produtos" src="https://tm.ibxk.com.br/2020/09/09/logistica-de-produtos-09175553170137.jpg" />Log&iacute;stica de produtos, materiais e colaboradores. (Fonte: Shutterstock)
Previs&atilde;o de demandas, automatiza&ccedil;&atilde;o de processos e manuten&ccedil;&otilde;es preventivas s&atilde;o apenas alguns aspectos que poderiam ser aprimorados no campo de log&iacute;stica de produtos, materiais e colaboradores. Com a ajuda da intelig&ecirc;ncia artificial, fica mais f&aacute;cil tomar decis&otilde;es de compra e venda, contrata&ccedil;&atilde;o de funcion&aacute;rios ou expedi&ccedil;&atilde;o de remessas para o exterior, por exemplo.
At&eacute; mesmo o gerenciamento completo de grandes galp&otilde;es de armazenamento est&aacute; sendo revolucionado com a IA. A &aacute;rea de recursos humanos tamb&eacute;m pode se beneficiar com a cria&ccedil;&atilde;o de crit&eacute;rios e processos seletivos mais eficazes.
<h2 dir="ltr">An&aacute;lise de dados</h2>
<img alt="An&aacute;lise de dados" src="https://tm.ibxk.com.br/2020/09/09/analise-de-dados-09180121781140.jpg" />An&aacute;lise de dados. (Fonte: Shutterstock)
A an&aacute;lise de dados, que est&aacute; indiretamente ligada a todos os outros campos, tamb&eacute;m &eacute; um mercado em expans&atilde;o gra&ccedil;as &agrave; intelig&ecirc;ncia artificial. O armazenamento, a organiza&ccedil;&atilde;o e o processamento das informa&ccedil;&otilde;es de uma empresa podem melhorar significativamente se a IA estiver em uso. A tecnologia &eacute; capaz de reconhecer padr&otilde;es, estabelecer regras e ainda evitar uma s&eacute;rie de problemas que dados duplicados, ausentes ou corrompidos poderiam causar, trazendo preju&iacute;zo para as empresas.
...
Quer ler mais conte&uacute;do especializado de programa&ccedil;&atilde;o? Conhe&ccedil;a o <a href="https://www.tecmundo.com.br/desenvolvendo-com-ibm-cloud?utm_source=tecmundo&amp;utm_medium=cta&amp;utm_campaign=ibm-blue-profile" target="_blank">IBM Blue Profile</a> e tenha acesso a mat&eacute;rias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e d&ecirc; um upgrade na sua carreira!
&hellip;..
Quer dar o pr&oacute;ximo grande passo na sua jornada profissional? Participe do <a href="https://www.ibm.com/br-pt/campaign/cloud-training" target="_blank">Cloud Training</a>, um curso online e gratuito que vai te preparar para o exame da certifica&ccedil;&atilde;o IBM Cloud Foundations. <a href="https://www.ibm.com/br-pt/campaign/cloud-training" target="_blank">Inscreva-se j&aacute;</a>!

thumb-image-2024-04-30T02:58:43.507Z

5 mercados em expansão para profissionais de IA

banner-image-2024-04-30T02:59:00.117Z

Imagem de Implemente uma rede de negócios de amostra no tecmundo

Aprenda a montar aplicações de blockchain e uma rede multiorganizacional simulada

Aprenda o passo a passo para implementar uma rede de amostra no n&iacute;vel gratuito do IKS. Voc&ecirc; poder&aacute;, ent&atilde;o, come&ccedil;ar a desenvolver, fazer demonstra&ccedil;&otilde;es e montar suas aplica&ccedil;&otilde;es de blockchain e uma rede multiorganizacional simulada.
<ul dir="ltr">
<li>
<div>1. Fa&ccedil;a uma conta no <a href="https://www.ibm.com/blockchain/getting-started" target="_blank">IBM Cloud</a>;</div>
</li>
<li>
<div>2. Acesse o <a href="https://cloud.ibm.com/kubernetes/catalog/about" target="_blank">Kubernetes Service</a> na IBM Cloud e se inscreva para criar o n&iacute;vel gratuito do IKS e implementar;</div>
</li>
<li>
<div>3. Navegue de volta para a <a href="https://cloud.ibm.com/catalog/services/blockchain?cm_sp=ibmdev-_-developer-tutorials-_-cloudreg" target="_blank">Plataforma Blockchain</a> e clique para lan&ccedil;ar seu console de blockchain no cluster do n&iacute;vel gratuito do IKS. Voc&ecirc; pode selecionar o cluster atrav&eacute;s da navega&ccedil;&atilde;o;</div>
</li>
<li>
<div>4. Quando vir o bot&atilde;o de lan&ccedil;amento, voc&ecirc; pode entrar no console de blockchain onde assistir&aacute; a um tutorial de inicializa&ccedil;&atilde;o r&aacute;pida, al&eacute;m de diferentes n&oacute;s que poder&atilde;o ser implementados;</div>
</li>
<li>
<div>5. Caso selecione o in&iacute;cio r&aacute;pido, voc&ecirc; ser&aacute; guiado por meio de uma s&eacute;rie de etapas simples para &ldquo;Construir uma rede&rdquo;, &ldquo;Entrar em uma rede&rdquo; ou &ldquo;Implementar um contrato inteligente na rede&rdquo;.</div>
</li>
</ul>
Para detalhes mais completos, veja os documentos da IBM Blockchain Platform. Aqui est&aacute; uma pr&eacute;via de como voc&ecirc; ser&aacute; guiado:
<ul>
<li dir="ltr">
Implemente um certificado de autoridade, demandando n&oacute;s de servi&ccedil;o ou pares;
</li>
<li dir="ltr">
Crie identidades e canais;
</li>
<li dir="ltr">
Modele sua rede de neg&oacute;cios ao definir as classes de ativos, de participantes, de transa&ccedil;&otilde;es, de eventos e acesse as regras de controle;
</li>
<li dir="ltr">
Escreva um pequeno contrato, instale um contrato inteligente, crie um exemplo de contrato inteligente ou envie uma transa&ccedil;&atilde;o usando a aplica&ccedil;&atilde;o do seu cliente.
</li>
</ul>
<h2 dir="ltr">O que n&atilde;o est&aacute; incluso no n&iacute;vel gratuito?</h2>
O n&iacute;vel gratuito &eacute; otimizado para fornecer uma vis&atilde;o das ferramentas operacionais e para te ajudar a desenvolver com rapidez e testar. Ele difere dos planos padr&atilde;o de diversas formas:
<ul>
<li dir="ltr">
Ser&aacute; automaticamente removido depois de um m&ecirc;s e n&atilde;o h&aacute; forma de migr&aacute;-lo para um n&iacute;vel padr&atilde;o, ent&atilde;o n&atilde;o conte com que os dados permane&ccedil;am al&eacute;m do per&iacute;odo de um m&ecirc;s, j&aacute; que o exemplo todo sumir&aacute;;
</li>
<li dir="ltr">
N&atilde;o deve ser usado para testes de estresse. &Eacute; um recurso gr&aacute;tis, e a IBM arca com todos os custos, ent&atilde;o, para torn&aacute;-lo dispon&iacute;vel, &eacute; necess&aacute;rio limitar os recursos alocados;
</li>
<li dir="ltr">
N&atilde;o existe manuten&ccedil;&atilde;o aplicada a esses implementos. Se uma nova vers&atilde;o do Hyperledger Fabric se tornar dispon&iacute;vel, a IBM n&atilde;o atualizar&aacute; os n&iacute;veis gratuitos; voc&ecirc; vai precisar deletar e reiniciar a IBM Blockchain Platform.
</li>
</ul>
<h2 dir="ltr">O que est&aacute; al&eacute;m do n&iacute;vel gratuito?</h2>
Quando voc&ecirc; estiver pronto para come&ccedil;ar, ampliar sua rede e implementar sua defini&ccedil;&atilde;o, o contrato inteligente e aplica&ccedil;&otilde;es para um ambiente de produ&ccedil;&atilde;o com a adi&ccedil;&atilde;o de camadas de seguran&ccedil;a refor&ccedil;adas e suporte premium, voc&ecirc; ir&aacute; preferir o plano padr&atilde;o do IBM Kubernetes.
Com ele, voc&ecirc; poder&aacute; adicionar mais n&oacute;s da IBM Blockchain Platform, mais recursos (processamento e armazenamento), al&eacute;m de uma infraestrutura tolerante a quedas e em n&iacute;vel de produ&ccedil;&atilde;o, que roda em um ambiente port&aacute;til, baseado em Kubernetes e que est&aacute; seguro na nuvem. Isso inclui isolamento de tempo de execu&ccedil;&atilde;o/dados, grande disponibilidade para solicita&ccedil;&otilde;es e certificado de autoridade, al&eacute;m da habilidade de utilizar zonas m&uacute;ltiplas para a recupera&ccedil;&atilde;o de desastres.
<h2 dir="ltr">Por que n&atilde;o utilizar apenas tecnologias open source diretamente no seu computador?</h2>
Um blockchain implementado localmente e baseado na estrutura do Hyperledger Fabric pode proporcionar uma &oacute;tima simula&ccedil;&atilde;o. Mas sem acesso a outras organiza&ccedil;&otilde;es de membros, voc&ecirc; n&atilde;o pode experimentar ou testar a escalabilidade e poder de uma rede multiorganizacional. Al&eacute;m disso, usar localmente as tecnologias open source requer um pouco mais de paci&ecirc;ncia e habilidade com c&oacute;digos de linhas de comando.
Por outro lado, com a IBM Blockchain Platform, voc&ecirc; possui um conjunto de ferramentas operacionais e de administra&ccedil;&atilde;o escal&aacute;vel, confi&aacute;vel e completamente integrado para gui&aacute;-lo em sua cria&ccedil;&atilde;o de rede, na implementa&ccedil;&atilde;o, monitoramento e administra&ccedil;&atilde;o com cliques simples e instru&ccedil;&otilde;es f&aacute;ceis. O c&oacute;digo e as habilidades que voc&ecirc; desenvolve s&atilde;o facilmente transfer&iacute;veis para ambientes de produ&ccedil;&atilde;o, ent&atilde;o, quando estiver pronto para mudar para uma rede em escala real na produ&ccedil;&atilde;o, voc&ecirc; ter&aacute; exatamente a mesma experi&ecirc;ncia.
<h2 dir="ltr">Procurando desenvolver e/ou testar um contrato inteligente de forma r&aacute;pida?</h2>
A maneira mais f&aacute;cil e econ&ocirc;mica de aprender mais sobre o desenvolvimento de contratos inteligentes para o Hyperledger Fabric &eacute; adquirindo a <a href="https://marketplace.visualstudio.com/items?itemName=IBMBlockchain.ibm-blockchain-platform" target="_blank">extens&atilde;o gratuita do IBM Blockchain Platform VS Code</a>. Existem diversas amostras embutidas que podem te ajudar a come&ccedil;ar, incluindo notas promiss&oacute;rias comerciais e o FabCar. Uma vez instalada a extens&atilde;o, voc&ecirc; pode criar seu primeiro contrato inteligente guiando-se por <a href="https://developer.ibm.com/tutorials/ibm-blockchain-platform-vscode-smart-contract/" target="_blank">este tutorial</a>.
Com a extens&atilde;o VS Code, voc&ecirc; pode desenvolver, empacotar e implementar seus contratos inteligentes de maneira r&aacute;pida e com o gerenciamento simples de espa&ccedil;os de trabalho m&uacute;ltiplos. Al&eacute;m disso, a extens&atilde;o possui instala&ccedil;&atilde;o r&aacute;pida embutida do Hyperledger Fabric para testar seu contrato rapidamente. Voc&ecirc; tamb&eacute;m pode facilmente importar perfis de conex&atilde;o para redes remotas, o que permite a implementa&ccedil;&atilde;o de seus contratos empacotados em qualquer rede da qual voc&ecirc; participar.
<h2 dir="ltr">Obtenha ajuda e suporte</h2>
Existem v&aacute;rias maneiras de obter suporte e respostas para suas perguntas.
1. Para perguntas sobre blockchain em geral:
<ul dir="ltr">
<li>
<div>Procure no <a href="https://www.ibm.com/mysupport/s/forumshome?language=pt_BR" target="_blank">dW Answers</a>. Navegue por perguntas j&aacute; feitas ou submeta uma nova (inclua a palavra-chave blockchain);</div>
</li>
</ul>
2. Para ajuda com a IBM Blockchain Platform:
<ul dir="ltr">
<li>
<div>A se&ccedil;&atilde;o de Suporte na interface do usu&aacute;rio disp&otilde;e de v&aacute;rios recursos para a autoajuda e notas de vers&atilde;o. Para defeitos no software ou algum problema que fuja dos recursos existentes, voc&ecirc; encontrar&aacute; instru&ccedil;&otilde;es para enviar um caso de suporte no Portal do IBM Cloud Service. Quando fizer isso, voc&ecirc; receber&aacute; um e-mail de resposta em minutos;</div>
</li>
</ul>
3. Para perguntas sobre implementa&ccedil;&atilde;o espec&iacute;ficas do Hyperledger Fabric:
<ul dir="ltr">
<li>
<div>Os <a href="https://chat.hyperledger.org/home" target="_blank">canais Hyperledger Rocket.Chat</a> e o <a href="https://stackoverflow.com/questions/tagged/hyperledger-fabric" target="_blank">Stack Overflow</a> s&atilde;o suas melhores apostas.</div>
</li>
</ul>
<h2 dir="ltr">Pr&oacute;ximos passos</h2>
N&oacute;s incluiremos cinco &oacute;timas maneiras para melhorar suas habilidades de blockchain:
<ul dir="ltr">
<li>
<div>Percorra os pr&oacute;ximos passos em sua jornada de aprendizado sobre blockchain seguindo <a href="https://developer.ibm.com/series/blockchain-learning-path/" target="_blank">o caminho de aprendizagem de blockchain do IBM Developer</a>;</div>
</li>
<li>
<div>Fique por dentro da newsletter sobre blockchain do developerWorks. D&ecirc; uma olhada em algumas <a href="https://developer.ibm.com/newsletters/blockchain/" target="_blank">quest&otilde;es recentes</a> e <a href="https://ibmdeveloper.pages03.net/technology-newsletters-2020/" target="_blank">se inscreva</a>;</div>
</li>
<li>
<div>D&ecirc; uma olhada no <a href="https://developer.ibm.com/technologies/blockchain/" target="_blank">hub de conte&uacute;dos de Blockchain</a> no IBM Developer. &Eacute; a sua fonte para ferramentas e tutoriais, al&eacute;m de c&oacute;digo e apoio da comunidade para desenvolver e implementar solu&ccedil;&otilde;es de blockchain para neg&oacute;cios;</div>
</li>
<li>
<div>&nbsp;Assista &agrave; <a href="https://developer.ibm.com/series/ibm-blockchain-platform-console-video-series/" target="_blank">s&eacute;rie de v&iacute;deos de console de plataforma Blockchain da IBM</a>, que vai te mostrar em detalhes como configurar uma rede de neg&oacute;cios na IBM Blockchain Platform;</div>
</li>
<li>
<div>Veja os <a href="https://developer.ibm.com/patterns/category/blockchain/" target="_blank">v&aacute;rios padr&otilde;es de c&oacute;digo de blockchain</a> no IBM Developer, que fornecem roteiros para resolver problemas complexos e incluem panoramas, diagramas de arquitetura, fluxos de processo, indicadores de reposit&oacute;rios e leituras adicionais.</div>
</li>
</ul>
&nbsp;... 
Quer ler mais conte&uacute;do especializado de programa&ccedil;&atilde;o? Conhe&ccedil;a a <a href="https://www.tecmundo.com.br/desenvolvendo-com-ibm-cloud?utm_source=tecmundo&amp;utm_medium=cta&amp;utm_campaign=ibm-blue-profile" target="_blank">IBM Blue Profile</a> e tenha acesso a mat&eacute;rias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e d&ecirc; um upgrade na sua carreira!

thumb-image-2024-04-30T02:59:00.117Z

Implemente uma rede de negócios de amostra

banner-image-2024-04-30T03:02:04.022Z

Imagem de Execute raspagem, analise e visualize informações sobre dados brutos da web no tecmundo

Extraia dados dinâmicos não estruturados sobre empresas e seu impacto na indústria

Por <a href="https://developer.ibm.com/profiles/smrraj32" target="_blank">Smruthi Raj Mohan</a>, <a href="https://developer.ibm.com/profiles/srikanth.manne" target="_blank">sri kanth</a>, <a href="https://developer.ibm.com/profiles/mhosurma" target="_blank">Manjula G Hosurmath</a>
<h2 dir="ltr">Resumo</h2>
A World Wide Web &eacute; o universo de informa&ccedil;&otilde;es acess&iacute;veis em rede. Todas se encontram presentes em formato bruto na web. E se voc&ecirc; quisesse uma maneira de introduzir informa&ccedil;&otilde;es brutas na rede, para um determinado t&oacute;pico, e fornecer informa&ccedil;&otilde;es e visualiza&ccedil;&otilde;es para esse mesmo t&oacute;pico? Esse padr&atilde;o de c&oacute;digo mostrar&aacute; como voc&ecirc; pode fazer isso utilizando um exemplo de an&aacute;lise de desempenho em startups.
<h2 dir="ltr">Descri&ccedil;&atilde;o</h2>
Suponha que queremos entender as startups atuais de acordo com uma tecnologia espec&iacute;fica, como machine learning (aprendizado de m&aacute;quina), por exemplo. Esse padr&atilde;o de c&oacute;digo avaliar&aacute; seu impacto no setor, com base em:
<ul>
<li dir="ltr">
Quantas vezes essas startups apareceram nas not&iacute;cias;
</li>
<li dir="ltr">
Se as empresas possuem uma p&aacute;gina na Wikip&eacute;dia;
</li>
<li dir="ltr">
Se elas possuem blogs de tecnologia;
</li>
<li dir="ltr">
Se s&atilde;o companhias ativas nas m&iacute;dias sociais.
</li>
</ul>
Ap&oacute;s a raspagem dos dados n&atilde;o estruturados, eles s&atilde;o processados atrav&eacute;s do Watson Natural Language Understanding e convertidos em dados estruturados. Isso &eacute; inserido no SPSS, que pode ser usado para entend&ecirc;-los e executar an&aacute;lises para determinar se todos os fatores (como mencionados acima) se manifestam em uma empresa, registrando, assim, uma nota de popularidade. Uma vez que todas as an&aacute;lises s&atilde;o realizadas, esse padr&atilde;o de c&oacute;digo tamb&eacute;m fornece uma visualiza&ccedil;&atilde;o interativa, acess&iacute;vel e intuitiva dos dados no painel &ndash; fornecendo percep&ccedil;&otilde;es acerca dos dados e ajudando a simplificar o processo de tomada de decis&atilde;o.
Ap&oacute;s concluir esse padr&atilde;o de c&oacute;digo, voc&ecirc; entender&aacute; como:
<ul>
<li dir="ltr">
Conectar e executar raspagem de dados de diversas fontes de dados na web;
</li>
<li dir="ltr">
Converter dados brutos da web em dados estruturados;
</li>
<li dir="ltr">
Integrar dados de v&aacute;rias fontes de dados com a ajuda do Db2 Warehouse Connection;
</li>
<li dir="ltr">
Executar an&aacute;lises no SPSS Modeler;
</li>
<li dir="ltr">
Enviar dados integrados para o Db2 Warehouse;
</li>
<li dir="ltr">
Obter informa&ccedil;&otilde;es e visualizar isso no Watson Embedded Dashboard.
</li>
</ul>
NOTA: Os nomes das empresas foram substitu&iacute;dos por nomes de plantas para esse padr&atilde;o de c&oacute;digo.
<h2 dir="ltr">Fluxo</h2>
<img alt="IBM" src="https://tm.ibxk.com.br/2020/08/19/ibm-19200947707056.png" />
Obtendo percep&ccedil;&atilde;o detalhada dos dados
<ul dir="ltr">
<li>
<div>1. Crie e execute um Python Notebook no Watson Studio;</div>
</li>
<li>
<div>2. O notebook executa a raspagem das &uacute;ltimas not&iacute;cias sobre startups;</div>
</li>
<li>
<div>3. As informa&ccedil;&otilde;es raspadas s&atilde;o enviadas ao Watson Natural Language Understanding para a extra&ccedil;&atilde;o de palavras-chave, entidades, sentimentos e suas respectivas notas de confian&ccedil;a;</div>
</li>
<li>
<div>4. Os resultados do Natural Language Understanding s&atilde;o compilados em um arquivo csv que &eacute;, por sua vez, posteriormente convertido em uma tabela no Db2 Warehouse;</div>
</li>
<li>
<div>5. A tabela criada &eacute; introduzida no SPSS para a execu&ccedil;&atilde;o de algumas an&aacute;lises e retorna uma pontua&ccedil;&atilde;o para cada empresa. A tabela atualizada &eacute; ent&atilde;o salva novamente no Db2 Warehouse;</div>
</li>
<li>
<div>6. A tabela gerada no Db2 Warehouse &eacute; inserida no painel, fornecendo percep&ccedil;&atilde;o detalhada.</div>
</li>
</ul>
<h2 dir="ltr">Instru&ccedil;&otilde;es</h2>
Obtenha as instru&ccedil;&otilde;es detalhadas no arquivo <a href="https://github.com/IBM/analyze-insights-on-startup-using-watson-studio/blob/master/README.md" target="_blank">README</a>. Estas etapas mostrar&atilde;o como:
<ul>
<li dir="ltr">
Clonar o reposit&oacute;rio;
</li>
<li dir="ltr">
Criar servi&ccedil;os Watson com o IBM Cloud;
</li>
<li dir="ltr">
Criar um novo projeto no Watson Studio;
</li>
<li dir="ltr">
Adicionar o Db2 Warehouse Connection ao seu projeto do Watson Studio;
</li>
<li dir="ltr">
Importar o notebook para o seu projeto do Watson Studio;
</li>
<li dir="ltr">
Configurar credenciais de servi&ccedil;o do IBM Cloud no Notebook;
</li>
<li dir="ltr">
Executar o notebook;
</li>
<li dir="ltr">
Configurar o SPSS Modeler no seu projeto do Watson Studio;
</li>
<li dir="ltr">
Executar o Modeler;
</li>
<li dir="ltr">
Configurar o Embedded Dashboard Service no seu projeto do Watson Studio;
</li>
<li dir="ltr">
Visualizar e desenvolver percep&ccedil;&otilde;es usando o Embedded Dashboard Analytics.
</li>
</ul>
...
Quer ler mais conte&uacute;do especializado de programa&ccedil;&atilde;o? Conhe&ccedil;a a <a href="https://www.tecmundo.com.br/desenvolvendo-com-ibm-cloud?utm_source=tecmundo&amp;utm_medium=cta&amp;utm_campaign=ibm-blue-profile" target="_blank">IBM Blue Profile</a> e tenha acesso a mat&eacute;rias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e d&ecirc; um upgrade na sua carreira!

thumb-image-2024-04-30T03:02:04.022Z

Execute raspagem, analise e visualize informações sobre dados brutos da web

banner-image-2024-04-30T03:02:04.035Z

Imagem de Gerador de legendas de imagens no tecmundo

Gere legendas que descrevam o conteúdo de imagens

<a href="https://github.com/IBM/MAX-Image-Caption-Generator" target="_blank">Obtenha este modelo</a>
<a href="http://max-image-caption-generator.codait-prod-41208c73af8fca213512856c7a09db52-0000.us-east.containers.appdomain.cloud/" target="_blank">Teste a API</a>
<a href="http://max-image-caption-generator-web-app.codait-prod-41208c73af8fca213512856c7a09db52-0000.us-east.containers.appdomain.cloud/" target="_blank">Teste o aplicativo web</a>
<a href="https://flows.nodered.org/flow/ab4de9fdc1e2f63e472ada8976b422b7" target="_blank">Teste em um fluxo Node-RED</a>
Por IBM Developer Staff
<h3 dir="ltr">Vis&atilde;o Geral</h3>
Este modelo gera legendas a partir de um vocabul&aacute;rio fixo que descreve o conte&uacute;do das imagens no <a href="http://cocodataset.org/#home" target="_blank">COCO Dataset</a>. Consiste em um modelo codificador &ndash; uma rede profunda e complexa que utiliza a arquitetura Inception-v3 treinada em dados do <a href="http://www.image-net.org/challenges/LSVRC/2012/" target="_blank">ImageNet-2012</a> &ndash; e um decodificador &ndash; uma rede LSTM treinada e condicionada &agrave; codifica&ccedil;&atilde;o a partir do codificador de imagens. A entrada para o modelo &eacute; uma imagem, enquanto a sa&iacute;da consiste em uma frase que descreve o conte&uacute;do da imagem.
O modelo &eacute; baseado no algoritmo gerador de legendas descritivas <a href="https://github.com/tensorflow/models/tree/master/research/im2txt" target="_blank">Show and Tell</a>.
<h3 dir="ltr">Metadados do Modelo</h3>
&nbsp;<img alt="IBM
" src="https://tm.ibxk.com.br/2020/08/19/ibm-19195924187053.png" />
<h3 dir="ltr">Refer&ecirc;ncias</h3>
<ul dir="ltr">
<li>
<div>O. Vinyals, A. Toshev, S. Bengio, D. Erhan, "<a href="https://arxiv.org/abs/1609.06647" target="_blank">Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge</a>", IEEE transactions on Pattern Analysis and Machine Intelligence, 2016.</div>
</li>
<li>
<div><a href="https://github.com/tensorflow/models/tree/master/research/im2txt" target="_blank">P&aacute;gina no GitHub sobre o Modelo im2txt TensorFlow</a></div>
</li>
<li>
<div><a href="http://cocodataset.org/#home" target="_blank">P&aacute;gina do Projeto COCO Dataset</a></div>
</li>
</ul>
<h3 dir="ltr">Licen&ccedil;as</h3>
Componente &ndash; Licen&ccedil;a &ndash; Link
Este reposit&oacute;rio &ndash; <a href="https://www.apache.org/licenses/LICENSE-2.0" target="_blank">Apache 2.0</a> &ndash; <a href="https://github.com/IBM/MAX-Image-Caption-Generator/blob/master/LICENSE" target="_blank">LICEN&Ccedil;A</a>
Pesos dos Modelos &shy;&ndash; <a href="https://opensource.org/licenses/MIT" target="_blank">MIT</a> &ndash; <a href="https://github.com/KranthiGV/Pretrained-Show-and-Tell-model" target="_blank">Modelo Pr&eacute;-treinado Show and Tell</a>
C&oacute;digo do Modelo (Terceiros) &ndash; <a href="https://www.apache.org/licenses/LICENSE-2.0" target="_blank">Apache 2.0</a> &ndash; <a href="https://github.com/tensorflow/models/tree/master/research/im2txt" target="_blank">im2txt</a>
Ativos de Teste &ndash; Diversos &ndash; <a href="https://github.com/IBM/MAX-Image-Caption-Generator/blob/master/assets/README.md" target="_blank">LEIA-ME do ativo</a>
<h3 dir="ltr">Op&ccedil;&otilde;es dispon&iacute;veis para a implementa&ccedil;&atilde;o deste modelo</h3>
Este modelo pode ser implementado por meio dos seguintes mecanismos:
<ul dir="ltr">
<li>
<div>Implementa&ccedil;&atilde;o a partir do Dockerhub:</div>
</li>
</ul>
docker run -it -p 5000:5000 codait/max-image-caption-generator
<ul dir="ltr">
<li>
<div>Implementa&ccedil;&atilde;o no Red Hat OpenShift:</div>
</li>
</ul>
Siga as instru&ccedil;&otilde;es para o console web do OpenShift ou para a OpenShift Container Platform CLI neste <a href="https://developer.ibm.com/tutorials/deploy-a-model-asset-exchange-microservice-on-red-hat-openshift/" target="_blank">tutorial</a> e especifique codait/max-image-caption-generator como o nome da imagem.
<ul dir="ltr">
<li>
<div>Implementa&ccedil;&atilde;o no Kubernetes:</div>
</li>
</ul>
kubectl apply -f https://raw.githubusercontent.com/IBM/MAX-Image-Caption-Generator/master/max-image-caption-generator.yaml
Um tutorial mais elaborado sobre como implementar este modelo MAX para produ&ccedil;&atilde;o na <a href="https://cloud.ibm.com/registration?cm_mmc=OSocial_Blog-_-Developer_IBM+Developer-_-WW_WW-_-CODAIT-MAX-github&amp;cm_mmca1=000019RS&amp;cm_mmca2=10004805" target="_blank">IBM Cloud</a> pode ser encontrado <a href="https://developer.ibm.com/tutorials/deploy-max-models-to-ibm-cloud-with-kubernetes/" target="_blank">aqui</a>.
<ul dir="ltr">
<li>
<div>Localmente: siga as instru&ccedil;&otilde;es no modelo <a href="https://github.com/IBM/MAX-Image-Caption-Generator#run-locally" target="_blank">LEIA-ME no GitHub</a></div>
</li>
</ul>
<h3 dir="ltr">Exemplo de uso</h3>
Voc&ecirc; pode testar ou usar este modelo
<ul dir="ltr">
<li>
<div>usando cURL</div>
</li>
<li>
<div>em um fluxo Node-RED</div>
</li>
<li>
<div>no CodePen</div>
</li>
<li>
<div>em um aplicativo sem servidor</div>
</li>
</ul>
<h3 dir="ltr">Teste o modelo usando o cURL</h3>
Uma vez implementado, voc&ecirc; pode testar o modelo a partir da linha de comando. Por exemplo, se estiver rodando localmente:
curl -F "image=@assets/surfing.jpg" -X POST http://127.0.0.1:5000/model/predict
&nbsp;
{
&nbsp;&nbsp;"status": "ok",
&nbsp;&nbsp;"predictions": [
&nbsp;&nbsp;&nbsp;&nbsp;{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"index": "0",
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"caption": "a man riding a wave on top of a surfboard .",
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"probability": 0.038827644239537
&nbsp;&nbsp;&nbsp;&nbsp;},
&nbsp;&nbsp;&nbsp;&nbsp;{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"index": "1",
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"caption": "a person riding a surf board on a wave",
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"probability": 0.017933410519265
&nbsp;&nbsp;&nbsp;&nbsp;},
&nbsp;&nbsp;&nbsp;&nbsp;{
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"index": "2",
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"caption": "a man riding a wave on a surfboard in the ocean .",
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"probability": 0.0056628732021868
&nbsp;&nbsp;&nbsp;&nbsp;}
&nbsp;&nbsp;]
}
<h3 dir="ltr">&nbsp;</h3>
<h3 dir="ltr">Teste o modelo em um fluxo Node-RED</h3>
Complete as instru&ccedil;&otilde;es de configura&ccedil;&atilde;o do m&oacute;dulo <a href="https://github.com/CODAIT/node-red-contrib-model-asset-exchange" target="_blank">node-red-contrib-model-asset-exchange</a> e importe o gerador de captura de imagens image-caption-generator para iniciar o fluxo.
<h3 dir="ltr">Teste o modelo no CodePen</h3>
Aprenda a enviar uma imagem para o modelo e como renderizar os resultados no <a href="https://codepen.io/collection/DzdpJM/" target="_blank">CodePen</a>.
<h3 dir="ltr">Teste o modelo em um aplicativo sem servidor</h3>
Voc&ecirc; pode utilizar este modelo em uma aplica&ccedil;&atilde;o sem servidor seguindo as instru&ccedil;&otilde;es no tutorial <a href="https://developer.ibm.com/tutorials/leverage-deep-learning-in-apache-openwhisk-ibm-cloud-functions/" target="_blank">Potencialize o deep learning no IBM Cloud Functions</a>.
<h3 dir="ltr">Links</h3>
<ul dir="ltr">
<li>
<div><a href="https://developer.ibm.com/patterns/create-a-web-app-to-interact-with-machine-learning-generated-image-captions/" target="_blank">Aplica&ccedil;&atilde;o Web Image Caption Generator</a>: Uma aplica&ccedil;&atilde;o de refer&ecirc;ncia criada pela equipe do IBM CODAIT que utiliza o Gerador de Legendas de Imagem</div>
</li>
</ul>
<h3 dir="ltr">Recursos e Contribui&ccedil;&otilde;es</h3>
Se voc&ecirc; estiver interessado em contribuir para o projeto da Model Asset Exchange ou tiver qualquer d&uacute;vida, por favor siga as instru&ccedil;&otilde;es presentes <a href="https://github.com/CODAIT/max-central-repo" target="_blank">aqui</a>.
...
Quer ler mais conte&uacute;do especializado de programa&ccedil;&atilde;o? Conhe&ccedil;a a <a href="https://www.tecmundo.com.br/desenvolvendo-com-ibm-cloud?utm_source=tecmundo&amp;utm_medium=cta&amp;utm_campaign=ibm-blue-profile" target="_blank">IBM Blue Profile</a> e tenha acesso a mat&eacute;rias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e d&ecirc; um upgrade na sua carreira!

thumb-image-2024-04-30T03:02:04.035Z

Gerador de legendas de imagens

banner-image-2024-04-30T03:02:04.049Z

Imagem de Uma introdução à separação de comandos e consultas no tecmundo

Otimize e dimensione seus modelos de dados em aplicativos complexos

Por Mickael Maison
Command query responsibility segregation (CQRS) &eacute; um padr&atilde;o de arquitetura de aplicativo. Esse padr&atilde;o &eacute; regularmente usado em aplicativos ativados por eventos e frequentemente associado &agrave; orienta&ccedil;&atilde;o a eventos (<a href="https://developer.ibm.com/articles/event-sourcing-introduction/" target="_blank">event sourcing</a>). Consiste em separar a l&oacute;gica relacionada a comandos daquela associada a consultas.
<h2 dir="ltr">O padr&atilde;o de arquitetura CQRS</h2>
Vamos come&ccedil;ar definindo o que s&atilde;o comandos e consultas. Em sua forma mais simples, um comando &eacute; uma opera&ccedil;&atilde;o que altera o estado do aplicativo, enquanto uma consulta &eacute; uma opera&ccedil;&atilde;o que l&ecirc; o estado do aplicativo.
Em um aplicativo, os dados s&atilde;o representados por meio do uso de modelos. Tradicionalmente, para um dom&iacute;nio definido, &eacute; usado um &uacute;nico modelo que guia todas as opera&ccedil;&otilde;es (criar, ler, atualizar e excluir, ou seja, as opera&ccedil;&otilde;es CRUD). No entanto, de acordo com a evolu&ccedil;&atilde;o dos requisitos, o modelo pode se tornar complexo e incontrol&aacute;vel.
Ao dividir os comandos e as consultas, o padr&atilde;o de arquitetura CQRS permite que os desenvolvedores usem modelos diferentes para ler e gravar dados.
Por exemplo, se considerarmos um servi&ccedil;o que esteja gerenciando pedidos:
OrderService:
* `createOrder()`
* `updateOrder()`
* `cancelOrder()`
* `getAllOrders()`
* `getOrdersForCustomer()`
&nbsp;
Se voc&ecirc; aplicar o padr&atilde;o CQRS, os servi&ccedil;os se tornar&atilde;o OrderCommandService e OrderQueryService:
&nbsp;
OrderCommandService:
* `createOrder()`
* `updateOrder()`
* `cancelOrder()`
&nbsp;
OrderQueryService:
* `getAllOrder()`
* `getOrdersForCustomer()`
&nbsp;
Essencialmente, o padr&atilde;o CQRS consiste em simplesmente separar os lados do comando e da consulta. Na pr&aacute;tica, o grau de separa&ccedil;&atilde;o pode variar da presen&ccedil;a de dois modelos dentro de um aplicativo at&eacute; a presen&ccedil;a de dois aplicativos.
A ideia de separar comandos e consultas tamb&eacute;m tem origem no fato de ser relativamente comum que ambos sejam usados por diferentes atores ou em diferentes escalas. Por exemplo, no OrderService descrito acima, os clientes usariam principalmente os comandos, enquanto a empresa oferecendo o servi&ccedil;o &eacute; quem usaria as consultas.
Com rela&ccedil;&atilde;o &agrave; arquitetura, um aplicativo de padr&atilde;o CQRS pode se assemelhar a isso:
<img alt="CQRS
" src="https://tm.ibxk.com.br/2020/08/19/cqrs-19194935652050.png" />Arquitetura do padr&atilde;o CQRS 
Nesse caso, os comandos registram atualiza&ccedil;&otilde;es no Apache Kafka nos t&oacute;picos correspondentes. No lado da consulta, o Kafka Streams pode ser usado para criar proje&ccedil;&otilde;es (atrav&eacute;s de agrega&ccedil;&otilde;es ou jun&ccedil;&otilde;es) dos dados nos t&oacute;picos. Voc&ecirc; pode explorar uma <a href="https://www.ibm.com/cloud/architecture/architectures/eventDrivenArchitecture/reference-architecture" target="_blank">arquitetura orientada a eventos</a> b&aacute;sica ou estendida no IBM Cloud Architecture Center.
Veremos na pr&oacute;xima se&ccedil;&atilde;o os benef&iacute;cios que isso pode ter em nossa arquitetura de aplicativos.
<h2 dir="ltr">Por que usar o CQRS?</h2>
O CQRS fornece uma separa&ccedil;&atilde;o de conceitos e nos permite ter modelos mais simples focados em diferentes casos de uso. Em um aplicativo complexo, isso pode evitar um modelo &uacute;nico que se torna incontrol&aacute;vel em raz&atilde;o da l&oacute;gica de valida&ccedil;&atilde;o complicada para grava&ccedil;&otilde;es e de muitos objetos de transfer&ecirc;ncia de dados (DTO) para leituras.
Esses modelos podem ser otimizados para leituras ou grava&ccedil;&otilde;es e mapear de perto o padr&atilde;o DTO. Cada modelo tamb&eacute;m pode ser sustentado por uma camada de persist&ecirc;ncia diferente, novamente otimizada para sua fun&ccedil;&atilde;o. Por exemplo, o banco de dados de consulta pode ter visualiza&ccedil;&otilde;es materializadas correspondentes a DTOs sem a preocupa&ccedil;&atilde;o com o desempenho da grava&ccedil;&atilde;o.
A separa&ccedil;&atilde;o de conceitos tamb&eacute;m garante que outro servi&ccedil;o que interaja com o lado da consulta n&atilde;o possa atualizar dados e tenha apenas acesso de leitura.
A outra raz&atilde;o pela qual o CQRS &eacute; usado com frequ&ecirc;ncia &eacute; a escalabilidade. Quando temos dois servi&ccedil;os, eles podem ser dimensionados de forma independente para fornecer alto desempenho. Isso &eacute; especialmente relevante quando h&aacute; uma disparidade ampla entre leituras e grava&ccedil;&otilde;es.
Por exemplo, considere que uma empresa de transporte de cont&ecirc;ineres possa receber milhares de pedidos de seus clientes ao longo do dia. Todavia, os pedidos ser&atilde;o recuperados apenas periodicamente a cada dia.
<h2 dir="ltr">Outras considera&ccedil;&otilde;es ao usar o CQRS</h2>
Como qualquer outro padr&atilde;o de aplicativo, alguns cuidados devem ser tomados ao implementar um servi&ccedil;o usando o CQRS.
Primeiro, aplicar o CQRS a um servi&ccedil;o adiciona complexidade. Nos vemos com mais modelos para gerenciar e, se um microsservi&ccedil;o &eacute; dividido em duas partes, &eacute; necess&aacute;rio executar e gerenciar dois microsservi&ccedil;os.
Tamb&eacute;m em decorr&ecirc;ncia da natureza muito espec&iacute;fica de seus benef&iacute;cios, o CQRS deve ser aplicado apenas a servi&ccedil;os que exigem seus recursos. Na maioria dos casos, esse &eacute; um subconjunto muito pequeno de servi&ccedil;os.
Como h&aacute; modelos separados para grava&ccedil;&otilde;es e leituras, precisamos mant&ecirc;-los sincronizados; portanto, quando um comando &eacute; processado, ambos os modelos de comando e de consulta s&atilde;o atualizados. Em muitos casos, isso conduz a sistemas que s&atilde;o <a href="https://en.wikipedia.org/wiki/Eventual_consistency" target="_blank">eventualmente consistentes</a>.
<h2 dir="ltr">Resumo e pr&oacute;ximos passos</h2>
Neste artigo, forneci uma vis&atilde;o geral de alto n&iacute;vel do padr&atilde;o de arquitetura CQRS. Para saber mais sobre o padr&atilde;o de arquitetura CQRS, assista ao v&iacute;deo &ldquo;<a href="https://developer.ibm.com/videos/creating-event-driven-microservices" target="_blank">Criando microsservi&ccedil;os ativados por eventos</a>: explore padr&otilde;es de arquitetura orientados a eventos para seus aplicativos de microsservi&ccedil;os&rdquo;. Para aprender sobre esse padr&atilde;o com mais detalhes, explore a <a href="https://developer.ibm.com/tutorials/reactive-in-practice-6/" target="_blank">Unidade 6</a>, a <a href="https://developer.ibm.com/tutorials/reactive-in-practice-7/" target="_blank">Unidade 7</a> e a <a href="https://developer.ibm.com/tutorials/reactive-in-practice-8/" target="_blank">Unidade 8</a> na s&eacute;rie de tutoriais &ldquo;<a href="https://developer.ibm.com/series/reactive-in-practice/" target="_blank">Reativos na pr&aacute;tica</a>&rdquo;, sobre a constru&ccedil;&atilde;o de sistemas reativos.
&nbsp;... 
Quer ler mais conte&uacute;do especializado de programa&ccedil;&atilde;o? Conhe&ccedil;a a <a href="https://www.tecmundo.com.br/desenvolvendo-com-ibm-cloud?utm_source=tecmundo&amp;utm_medium=cta&amp;utm_campaign=ibm-blue-profile" target="_blank">IBM Blue Profile</a> e tenha acesso a mat&eacute;rias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e d&ecirc; um upgrade na sua carreira!

thumb-image-2024-04-30T03:02:04.049Z

Uma introdução à separação de comandos e consultas

banner-image-2024-04-30T03:02:04.075Z

Imagem de Analisando conjuntos de dados médicos abertos para obter insights no tecmundo

Como o uso de machine learning com Watson Studio e scikit-learn ajuda a prever como será a prescrição de opioides nos Estados Unidos


Por Madison Meyers
<h3 dir="ltr">Resumo</h3>
Com tantos problemas de sa&uacute;de no mundo de hoje, cientistas de dados encontraram uma mina de ouro no trabalho de extrair significado e interpretar dados relacionados a estes problemas. Esta padroniza&ccedil;&atilde;o se aprofunda no conjunto de dados sobre as mortes por overdose de opioides. Leia a seguir sobre como explorar esses dados em um notebook do Watson&trade; Studio, visualizar algumas descobertas iniciais utilizando o Pixie Dust, e depois usar o scikit-learn para testar diversos modelos e avaliar quais apresentam as previs&otilde;es mais exatas de como ser&atilde;o as prescri&ccedil;&otilde;es de opioides.
<h3 dir="ltr">Descri&ccedil;&atilde;o</h3>
Overdoses de opioide est&atilde;o se tornando um problema cada vez maior nos Estados Unidos. Embora cientistas de dados n&atilde;o possam resolver esse problema sozinhos, eles podem olhar para os dados, observar o que exatamente acontece e quais elementos podem levar a determinados resultados.
Este padr&atilde;o de c&oacute;digo mostra o uso de scikit-learn e do Python (no IBM Watson Studio) para prever como ser&aacute; a prescri&ccedil;&atilde;o de opioides com base em um conjunto de dados Kaggle, que inclui valores como mortes por overdose da droga, tipo de medicamento prescrito e a prescri&ccedil;&atilde;o em si. Com esse padr&atilde;o, voc&ecirc; poder&aacute; explorar os dados em um notebook do Watson Studio e usar o Pixie Dust para visualizar algumas descobertas iniciais de diversas maneiras. Ap&oacute;s terminar a explora&ccedil;&atilde;o inicial, voc&ecirc; pode usar o scikit-learn para testar diversos modelos, e assim descobrir quais apresentam as previs&otilde;es mais exatas de prescri&ccedil;&otilde;es de opioides. Com a biblioteca do scikit-learn, voc&ecirc; poder&aacute; acessar facilmente diversos classificadores de machine learning que podem ser implementados com um n&uacute;mero relativamente baixo de linhas de c&oacute;digo.
Este padr&atilde;o de c&oacute;digo foi criado para cientistas e amantes de dados que se interessem por quest&otilde;es de justi&ccedil;a social ou de sa&uacute;de, ou para aqueles que estejam aprendendo DSX e machine learning. Ele vai te guiar pela explora&ccedil;&atilde;o de dados, limpeza de dados, modelos de treinamento e avalia&ccedil;&atilde;o.
Ap&oacute;s completar esse padr&atilde;o, voc&ecirc; dever&aacute; saber como:
<ul>
<li dir="ltr">
Utilizar o Watson Studio;
</li>
<li dir="ltr">
Explorar diversos dataframes;
</li>
<li dir="ltr">
Visualizar explora&ccedil;&otilde;es;
</li>
<li dir="ltr">
Limpar os dados usando Python e pandas;
</li>
<li dir="ltr">
Construir diversos modelos de machine learning para prever uma vari&aacute;vel target;
</li>
<li dir="ltr">
Avaliar o desempenho dos modelos.
</li>
</ul>
<h3 dir="ltr">Fluxo</h3>
<img alt="Watson Studio" src="https://tm.ibxk.com.br/2020/08/19/watson-studio-19193543880033.png" />Fluxo do uso de machine learning com Watson Studio
<ul>
<li dir="ltr">
Fa&ccedil;a o login no Watson Studio;
</li>
<li dir="ltr">
Fa&ccedil;a o upload dos dados em forma de ativos de dados no Watson Studio;
</li>
<li dir="ltr">
Inicie um notebook no Watson Studio e insira o ativo de dados criado anteriormente;
</li>
<li dir="ltr">
Crie visualiza&ccedil;&otilde;es de dados com o Pixie Dust;
</li>
<li dir="ltr">
Explore os dados com pandas;
</li>
<li dir="ltr">
Teste modelos de machine learning com o scikit-learn;
</li>
<li dir="ltr">
Avalie o desempenho das predi&ccedil;&otilde;es.
</li>
</ul>
<h3 dir="ltr">Instru&ccedil;&otilde;es</h3>
Encontre os passos detalhados para o padr&atilde;o no <a href="https://github.com/IBM/predict-opioid-prescribers/blob/master/README.md" target="_blank">README</a>. Estes passos devem te mostrar como:
<ul>
<li dir="ltr">
Inscrever-se no IBM Watson Studio;
</li>
<li dir="ltr">
Criar o notebook;
</li>
<li dir="ltr">
Rodar o notebook;
</li>
<li dir="ltr">
Salvar e compartilhar;
</li>
<li dir="ltr">
Limpar os dados utilizando Python;
</li>
<li dir="ltr">
Rodar diversos modelos usando o scikit-learn para prever como ser&aacute; a prescri&ccedil;&atilde;o de opioides;
</li>
<li dir="ltr">
Avaliar os modelos.
</li>
</ul>
...
Quer ler mais conte&uacute;do especializado de programa&ccedil;&atilde;o? Conhe&ccedil;a a <a href="https://www.tecmundo.com.br/desenvolvendo-com-ibm-cloud?utm_source=tecmundo&amp;utm_medium=cta&amp;utm_campaign=ibm-blue-profile" target="_blank">IBM Blue Profile</a> e tenha acesso a mat&eacute;rias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e d&ecirc; um upgrade na sua carreira.

thumb-image-2024-04-30T03:02:04.075Z

Analisando conjuntos de dados médicos abertos para obter insights

banner-image-2024-04-30T03:03:41.888Z

Imagem de Determine tópicos em tendência com análise de fluxo de cliques no tecmundo

Utilize o Apache Spark e o Apache Kafka para coletar, analisar e gerar relatórios sobre dados sobre visitantes de websites

Por: Prashant Sharma e <a href="https://developer.ibm.com/profiles/rich.hagarty/" target="_blank">Richard Hagarty</a>.
Atualizado em: 28 de mar&ccedil;o de 2019. | Publicado em: 27 de fevereiro de 2018.
<h3 dir="ltr">Resumo</h3>
A an&aacute;lise de fluxo de cliques &eacute; o processo de coletar, analisar e gerar relat&oacute;rios a respeito de quais p&aacute;ginas um usu&aacute;rio visita, o que pode oferecer informa&ccedil;&otilde;es &uacute;teis sobre caracter&iacute;sticas de uso de um site. Neste padr&atilde;o de codifica&ccedil;&atilde;o, utilizaremos a an&aacute;lise de fluxo de cliques para demonstrar como detectar t&oacute;picos em tend&ecirc;ncia em tempo real no Wikip&eacute;dia.
<h3 dir="ltr">Descri&ccedil;&atilde;o</h3>
A an&aacute;lise de fluxo de cliques &eacute; o processo de coletar, analisar e gerar relat&oacute;rios a respeito de quais p&aacute;ginas um usu&aacute;rio visita, o que pode oferecer informa&ccedil;&otilde;es &uacute;teis sobre caracter&iacute;sticas de uso de um site.
Alguns usos populares desse tipo de abordagem incluem:
<ul>
<li dir="ltr">
Testes A/B: estudo estat&iacute;stico de como usu&aacute;rios de um site s&atilde;o afetados por mudan&ccedil;as de uma vers&atilde;o A para uma vers&atilde;o B;
</li>
<li dir="ltr">
Gera&ccedil;&atilde;o de recomenda&ccedil;&otilde;es em sites de venda: padr&otilde;es de cliques de consumidores em um portal indicam como um usu&aacute;rio foi influenciado a comprar algo. Essa informa&ccedil;&atilde;o pode ser utilizada como geradora de recomenda&ccedil;&otilde;es para futuros padr&otilde;es de cliques;
</li>
<li dir="ltr">
Publicidade direcionada: similar &agrave; gera&ccedil;&atilde;o de recomenda&ccedil;&otilde;es, &eacute; poss&iacute;vel rastrear cliques do usu&aacute;rio em sites e utilizar essa informa&ccedil;&atilde;o para direcionar publicidade em tempo real e com mais efici&ecirc;ncia;
</li>
<li dir="ltr">
T&oacute;picos em tend&ecirc;ncia: a an&aacute;lise do fluxo de cliques pode ser utilizada para estudos ou gera&ccedil;&atilde;o de t&oacute;picos em tend&ecirc;ncia em tempo real. Considerando-se um intervalo de tempo em particular, &eacute; poss&iacute;vel exibir os itens mais acessados para otimizar o n&uacute;mero de cliques.
</li>
</ul>
No padr&atilde;o de codifica&ccedil;&atilde;o a seguir, demonstraremos como detectar t&oacute;picos em tend&ecirc;ncia em tempo real no Wikip&eacute;dia. Para executar essa tarefa, utilizaremos o Apache Kafka como fila de mensagens, assim como o mecanismo de streaming estruturado Apache Spark para realizar a an&aacute;lise. Essa combina&ccedil;&atilde;o &eacute; bem conhecida por caracter&iacute;sticas como usabilidade, alto rendimento e baixa lat&ecirc;ncia.
Ao completar esse padr&atilde;o, voc&ecirc; vai entender como:
<ul>
<li dir="ltr">
Utilizar o <a href="https://jupyter.org/" target="_blank">Jupyter Notebooks</a> para carregar, visualizar e analisar dados;
</li>
<li dir="ltr">
Executar o Jupyter Notebooks no <a href="https://www.ibm.com/cloud/watson-studio" target="_blank">IBM Watson Studio</a>;
</li>
<li dir="ltr">
Realizar uma an&aacute;lise de fluxo de cliques utilizando o mecanismo de streaming estruturado Apache Spark;
</li>
<li dir="ltr">
Construir um fluxo de processamento de baixa lat&ecirc;ncia utilizando o Apache Kafka.
</li>
</ul>
<img alt="Usu&aacute;rio / Nuvem p&uacute;blica
" src="https://tm.ibxk.com.br/2020/08/13/usuario-nuvem-publica-13174532315288.png" />Usu&aacute;rio / Nuvem p&uacute;blica 
<ul dir="ltr">
<li>
<div>1. Conecte-se com o Apache Kafka e configure uma inst&acirc;ncia em execu&ccedil;&atilde;o de um fluxo de cliques;</div>
</li>
<li>
<div>2. Execute um Jupyter Notebook no Watson Studio que interaja com o servi&ccedil;o Apache Spark subjacente. Isso tamb&eacute;m pode ser feito localmente com o Spark Shell;</div>
</li>
<li>
<div>3. O Apache Spark carrega e processa os dados vindos do Apache Kafka;</div>
</li>
<li>
<div>4. Os dados processados s&atilde;o transmitidos novamente a voc&ecirc; por meio do Jupyter Notebook (ou reposit&oacute;rio de sink, no caso de execu&ccedil;&atilde;o local).</div>
</li>
</ul>
<h2 dir="ltr">Instru&ccedil;&otilde;es</h2>
Encontre o passo a passo detalhado deste padr&atilde;o em <a href="https://github.com/IBM/kafka-streaming-click-analysis/blob/master/README.md" target="_blank">README</a>. Existem duas maneiras de exercitar essa habilidade:
<ul>
<li dir="ltr">
Executando tudo localmente utilizando Spark Shell;
</li>
<li dir="ltr">
Utilizando o Jupyter Notebooks no <a href="https://www.ibm.com/cloud/watson-studio" target="_blank">IBM Watson Studio</a>. Nota: para realizar esse tipo de abordagem, voc&ecirc; precisar&aacute; de um servi&ccedil;o <a href="https://www.ibm.com/cloud/event-streams" target="_blank">Event Streams</a>, que cobra taxas nominais.
</li>
</ul>
...&nbsp;
Quer ler mais conte&uacute;do especializado de programa&ccedil;&atilde;o? Conhe&ccedil;a a <a href="https://www.tecmundo.com.br/desenvolvendo-com-ibm-cloud?utm_source=tecmundo&amp;utm_medium=cta&amp;utm_campaign=ibm-blue-profile" target="_blank">IBM Blue Profile</a> e tenha acesso a mat&eacute;rias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e d&ecirc; um upgrade na sua carreira!

thumb-image-2024-04-30T03:03:41.888Z

Determine tópicos em tendência com análise de fluxo de cliques

banner-image-2024-04-30T03:03:41.904Z

Imagem de Use o Spring Kafka para acessar um serviço do Event Streams no tecmundo

Envie e receba mensagens para o Event Streams

thumb-image-2024-04-30T03:03:41.904Z

Use o Spring Kafka para acessar um serviço do Event Streams

banner-image-2024-04-30T03:03:42.502Z

Imagem de Acelere pesquisa reversa de imagens com GPU para extrair características no tecmundo

Extraia feature vectors para machine learning usando GPU para aumento de desempenho

Por: <a href="https://developer.ibm.com/profiles/krbalaga" target="_blank">Krishna Chaitanya Balaga</a>, <a href="https://developer.ibm.com/profiles/scott.dangelo" target="_blank">Scott Dangelo</a> e Sandhya Nayak.
Publicado em: 18 de maio de 2020.
<h2 dir="ltr">Resumo</h2>
Nesse padr&atilde;o de c&oacute;digo, trabalhe por meio do processo de an&aacute;lise de um conjunto de dados de imagem utilizando uma rede convolucional pr&eacute;-treinada (VGG16) e extraia vetores de representa&ccedil;&atilde;o num&eacute;rica de caracter&iacute;sticas (feature vectors) para cada imagem atrav&eacute;s de um notebook do Jupyter.
<h2 dir="ltr">Descri&ccedil;&atilde;o</h2>
Os algoritmos de machine learning (aprendizado de m&aacute;quina) fornecem muitas ferramentas &uacute;teis para a solu&ccedil;&atilde;o de problemas concretos. Uma das esferas na qual o machine learning teve grande sucesso &eacute; o reconhecimento de imagens. Por meio do uso do poder computacional para a identifica&ccedil;&atilde;o de imagens e compara&ccedil;&atilde;o destas com outras, voc&ecirc; pode utilizar m&aacute;quinas para executar tarefas que, alguns anos atr&aacute;s, poderiam ser realizadas apenas por humanos. Engenheiros e cientistas de dados que trabalham com reconhecimento de imagem podem encontrar alguns desafios que, por sua vez, possivelmente limitam o trabalho que pode ser feito com algoritmos de machine learning. A maior limita&ccedil;&atilde;o &eacute; o tempo e o poder computacional necess&aacute;rios para criar as camadas de machine learning em uma rede neural profunda, necess&aacute;rias para o reconhecimento de imagens. Embora grandes conjuntos de dados e algoritmos complexos possam ser executados em muitas configura&ccedil;&otilde;es comuns de hardware, o tempo necess&aacute;rio para criar camadas neurais, treinar um modelo e extrair recursos pode ser proibitivamente alto. O uso de uma Unidade de Processamento Gr&aacute;fico (GPU) para realizar uma grande quantidade de c&aacute;lculos em paralelo revolucionou o mundo da computa&ccedil;&atilde;o gr&aacute;fica, e a descoberta de que as mesmas GPUs tamb&eacute;m podem ser usadas para acelerar o desempenho de tarefas de machine learning produziu um efeito semelhante no mundo da intelig&ecirc;ncia artificial. Nesse padr&atilde;o de c&oacute;digo, demonstramos uma tarefa comum para recupera&ccedil;&atilde;o de imagem por conte&uacute;do (CBIR) e comparamos a execu&ccedil;&atilde;o na CPU com o desempenho superior obtido ao execut&aacute;-la em uma GPU.
No padr&atilde;o de c&oacute;digo, te orientamos ao longo do processo de an&aacute;lise de um conjunto de dados de imagem utilizando uma rede neural convolucional pr&eacute;-treinada (VGG16) e de extra&ccedil;&atilde;o de feature vectors para cada imagem utilizando um notebook do Jupyter. Esse &eacute; um processo computacionalmente caro que demora 300 vezes mais em uma CPU do que em uma GPU. Utilizaremos o ambiente de GPU no IBM&reg; Watson&trade; Studio ou em sua m&aacute;quina local para acelerar a extra&ccedil;&atilde;o de caracter&iacute;sticas. Feita a an&aacute;lise, demonstraremos a pesquisa reversa de imagens, um dos aplicativos populares da an&aacute;lise de imagens. Essa pesquisa &eacute; uma t&eacute;cnica de consulta em CBIR que envolve fornecer ao sistema CBIR uma imagem de amostra para servir de base em sua pesquisa. Em termos de recupera&ccedil;&atilde;o de informa&ccedil;&otilde;es, a imagem de amostra &eacute; o que formula uma pesquisa. Normalmente, a pesquisa reversa de imagens &eacute; caracterizada por uma aus&ecirc;ncia de termos de pesquisa.
Com a conclus&atilde;o desse padr&atilde;o de c&oacute;digo, voc&ecirc; entende como:
<ul>
<li dir="ltr">
Utilizar a acelera&ccedil;&atilde;o da GPU no Watson Studio ou localmente para melhorar o desempenho da extra&ccedil;&atilde;o de caracter&iacute;sticas;
</li>
<li dir="ltr">
Fazer o download de um modelo VGG16 pr&eacute;-treinado usando o Keras;
</li>
<li dir="ltr">
Executar a extra&ccedil;&atilde;o de caracter&iacute;sticas. Nesse ponto, removemos a &uacute;ltima camada (ou seja, a camada de classifica&ccedil;&atilde;o softmax) para que nosso modelo de sa&iacute;da agora tenha apenas 12 camadas e a &uacute;ltima camada seja f2 (Densa), uma camada totalmente conectada;
</li>
<li dir="ltr">
Obter feature vectors para todas as imagens e reduzi-las usando o PCA,
</li>
<li dir="ltr">
Utilizar a dist&acirc;ncia de cosseno entre os recursos do PCA para comparar a imagem da consulta com as 5 imagens mais pr&oacute;ximas e retorn&aacute;-las como miniaturas (thumbnails).
</li>
</ul>
<h2 dir="ltr">Fluxo</h2>
<img alt="Extra&ccedil;&atilde;o de caracter&iacute;sticas
" src="https://tm.ibxk.com.br/2020/08/12/extracao-de-caracteristicas-12204356812577.png" />Extra&ccedil;&atilde;o de caracter&iacute;sticas 
<ul>
<li dir="ltr">
1. O usu&aacute;rio interage com o Jupyter Notebook para importar e usar os m&oacute;dulos Python;
</li>
<li dir="ltr">
2. 101_Object_Categories do caltech-101 s&atilde;o importadas para a pesquisa de imagens;
</li>
<li dir="ltr">
3. O modelo Keras VGG16 &eacute; importado, com pesos pr&eacute;-treinados no ImageNet;
</li>
<li dir="ltr">
4. O usu&aacute;rio pode executar a extra&ccedil;&atilde;o de caracter&iacute;sticas usando a GPU para um melhor desempenho.
</li>
</ul>
<h2 dir="ltr">Instru&ccedil;&otilde;es</h2>
Obtenha instru&ccedil;&otilde;es detalhadas no arquivo <a href="https://github.com/IBM/reverse-image-search-gpu-studio/blob/master/README.md" target="_blank">readme</a>. Essas etapas mostram como:
<ul>
<li dir="ltr">
1. Clonar o reposit&oacute;rio;
</li>
<li dir="ltr">
2. Criar um notebook no Watson Studio ou localmente;
</li>
<li dir="ltr">
3. Executar o notebook.
</li>
</ul>
...
Quer ler mais conte&uacute;do especializado de programa&ccedil;&atilde;o? Conhe&ccedil;a a <a href="https://www.tecmundo.com.br/desenvolvendo-com-ibm-cloud?utm_source=tecmundo&amp;utm_medium=cta&amp;utm_campaign=ibm-blue-profile" target="_blank">IBM Blue Profile</a> e tenha acesso a mat&eacute;rias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e d&ecirc; um upgrade na sua carreira!

thumb-image-2024-04-30T03:03:42.502Z

Acelere pesquisa reversa de imagens com GPU para extrair características

banner-image-2024-04-30T03:03:42.516Z

Imagem de Monitorando o modelo com o Watson OpenScale no tecmundo

Treine, crie e implemente um modelo de machine learning utilizando o IBM Watson Machine Learning no IBM Cloud Pak for Data


Por: Scott Dangelo e Lukasz Cmielowski.
Publicado em: 4 de outubro de 2019. 
Esse padr&atilde;o de c&oacute;digo faz parte dos seguintes caminhos de aprendizado: <a href="https://developer.ibm.com/series/cloud-pak-for-data-learning-path/" target="_blank">Introdu&ccedil;&atilde;o ao IBM Cloud Pak for Data</a> e <a href="https://developer.ibm.com/series/learning-path-watson-openscale/" target="_blank">Introdu&ccedil;&atilde;o ao Watson OpenScale</a>.
<h3 dir="ltr">Sum&aacute;rio</h3>
Nesse padr&atilde;o de c&oacute;digo, utilizaremos os dados do German Credit (cr&eacute;dito alem&atilde;o) para treinar, criar e implementar um modelo de machine learning usando o Watson Machine Learning no IBM Cloud Pak for Data. Criaremos um reposit&oacute;rio de dados para este modelo com o Watson OpenScale e configuraremos o OpenScale para monitorar essa implementa&ccedil;&atilde;o. Em seguida, inseriremos sete dias de registros hist&oacute;ricos e medi&ccedil;&otilde;es para visualiza&ccedil;&atilde;o no painel do OpenScale Insights.
<h3 dir="ltr">Descri&ccedil;&atilde;o</h3>
O conjunto de dados utilizado para esse padr&atilde;o cont&eacute;m informa&ccedil;&otilde;es sobre aplicativos de cr&eacute;dito de v&aacute;rios usu&aacute;rios. Podemos usar uma rede neural profunda a fim de criar um modelo de machine learning utilizando o <a href="https://www.ibm.com/support/producthub/icpdata/docs/content/SSQNUZ_current/com.ibm.icpdata.doc/dsx/wmlservices.html" target="_blank">Watson Machine Learning</a> e, em seguida, implementar esse modelo para uso na previs&atilde;o de risco futuro de padr&atilde;o. Devido &agrave; natureza sens&iacute;vel da pontua&ccedil;&atilde;o de cr&eacute;dito, este &eacute; um caso de uso ideal para a solu&ccedil;&atilde;o local oferecida pelo IBM Cloud Pak for Data.
O modelo de ML implementado agora pode ser monitorado pelo Watson OpenScale. O uso cont&iacute;nuo gera dados que permitem aos administradores garantir a qualidade do modelo e oferece explica&ccedil;&otilde;es sobre quais recursos do conjunto de dados s&atilde;o mais influentes na cria&ccedil;&atilde;o da pontua&ccedil;&atilde;o de risco. A detec&ccedil;&atilde;o de polariza&ccedil;&atilde;o ser&aacute; configurada para permitir uma vis&atilde;o mais detalhada da equidade das previs&otilde;es do modelo. Todas essas informa&ccedil;&otilde;es est&atilde;o dispon&iacute;veis no painel do OpenScale e em grandes detalhes.
Depois de concluir esse padr&atilde;o de c&oacute;digo, voc&ecirc; entender&aacute; como:
<ul>
<li dir="ltr">
Criar e implementar um modelo de machine learning atrav&eacute;s do servi&ccedil;o Watson Machine Learning no IBM Cloud Pak for Data.
</li>
<li dir="ltr">
Configurar o Watson OpenScale Data Mart.
</li>
<li dir="ltr">
Associar o Watson Machine Learning ao Watson OpenScale Data Mart.
</li>
<li dir="ltr">
Adicionar assinaturas ao Data Mart.
</li>
<li dir="ltr">
Ativar o registro de carga &uacute;til e o monitor de desempenho para ativos registrados.
</li>
<li dir="ltr">
Ativar o monitor de qualidade (precis&atilde;o).
</li>
<li dir="ltr">
Ativar o monitor de legitimidade.
</li>
<li dir="ltr">
Classificar o modelo de cr&eacute;dito alem&atilde;o utilizando o Watson Machine Learning.
</li>
<li dir="ltr">
Inserir cargas hist&oacute;ricas, m&eacute;tricas de legitimidade e m&eacute;tricas de qualidade no Data Mart.
</li>
<li dir="ltr">
Utilizar o Data Mart para acessar os dados das tabelas via assinatura.
</li>
</ul>
<h3 dir="ltr">Fluxo</h3>
&nbsp;<img alt="Fluxo" src="https://tm.ibxk.com.br/2020/08/12/fluxo-12203521105573.png" />Fluxo
<ul dir="ltr">
<li>
<div>1. O desenvolvedor cria um Jupyter Notebook no IBM Cloud Pak for Data.</div>
</li>
<li>
<div>2. O OpenScale no IBM Cloud Pak for Data est&aacute; conectado a um banco de dados DB2, utilizado para armazenar dados do Watson OpenScale.</div>
</li>
<li>
<div>3. O notebook est&aacute; conectado ao Watson Machine Learning, e um modelo &eacute; treinado e implementado.</div>
</li>
<li>
<div>4. O Watson OpenScale &eacute; utilizado pelo notebook para registrar a carga &uacute;til e monitorar o desempenho, a qualidade e a legitimidade.</div>
</li>
<li>
<div>5. O OpenScale monitorar&aacute; o modelo do Watson Machine Learning quanto a desempenho, legitimidade, qualidade e explicabilidade.</div>
</li>
</ul>
<h3 dir="ltr">Instru&ccedil;&otilde;es</h3>
Pronto para utilizar esse padr&atilde;o de c&oacute;digo? Encontre detalhes completos sobre como come&ccedil;ar a executar no <a href="https://github.com/IBM/monitor-ibm-cloud-pak-with-watson-openscale/blob/master/README.md" target="_blank">README</a>. As etapas mostram a voc&ecirc; como:
<ul dir="ltr">
<li>
<div>1. Clonar o reposit&oacute;rio</div>
</li>
<li>
<div>2. Criar um novo projeto e espa&ccedil;o de implementa&ccedil;&atilde;o</div>
</li>
<li>
<div>3. Configurar o OpenScale em um Jupyter Notebook</div>
</li>
<li>
<div>4. Utilizar o painel para o OpenScale</div>
</li>
</ul>
<h3 dir="ltr">Conclus&atilde;o</h3>
Esse padr&atilde;o de c&oacute;digo mostrou como treinar, criar e implementar um modelo de machine learning atrav&eacute;s do Watson Machine Learning no IBM Cloud Pak for Data. O padr&atilde;o de c&oacute;digo faz parte da s&eacute;rie de caminhos de aprendizado <a href="https://developer.ibm.com/series/cloud-pak-for-data-learning-path/" target="_blank">Introdu&ccedil;&atilde;o ao IBM Cloud Pak for Data</a>.
O padr&atilde;o tamb&eacute;m faz parte do caminho de aprendizado Introdu&ccedil;&atilde;o ao Watson OpenScale. Para continuar com esse caminho, consulte <a href="https://developer.ibm.com/series/configure-monitor-and-understand-machine-learning-models/" target="_blank">Utilizando o OpenScale com qualquer modelo, em qualquer lugar</a>.
...
Quer ler mais conte&uacute;do especializado de programa&ccedil;&atilde;o? Conhe&ccedil;a a <a href="https://www.tecmundo.com.br/desenvolvendo-com-ibm-cloud?utm_source=tecmundo&amp;utm_medium=cta&amp;utm_campaign=ibm-blue-profile" target="_blank">IBM Blue Profile</a> e tenha acesso a mat&eacute;rias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e d&ecirc; um upgrade na sua carreira!

thumb-image-2024-04-30T03:03:42.516Z

Monitorando o modelo com o Watson OpenScale

banner-image-2024-04-30T03:03:46.506Z

Imagem de 5 passos do Desenvolvimento Orientado a Testes (TDD) no tecmundo

Aprenda a estruturar um Desenvolvimento Orientado a Testes e veja como funciona

Neste artigo, s&atilde;o apresentados os conceitos b&aacute;sicos de Desenvolvimento Orientado a Testes (em ingl&ecirc;s, test-driven development &ndash; TDD). Caso voc&ecirc; seja um desenvolvedor e utilize os m&eacute;todos &aacute;geis (Agile Development), o TDD &eacute; a melhor pr&aacute;tica a ser inclu&iacute;da no ciclo de vida de sua solu&ccedil;&atilde;o. Entenda o que &eacute; Desenvolvimento Orientado a Testes, conhe&ccedil;a o fluxo b&aacute;sico envolvido e descubra como testes unit&aacute;rios s&atilde;o os pilares da metodologia. Ao fim da leitura, voc&ecirc; ter&aacute; compreendido por que &eacute; indicado utilizar Desenvolvimento Orientado a Testes em seus processos.
<h3 dir="ltr">O que &eacute; Desenvolvimento Orientado a Testes (TDD)?</h3>
Desenvolvimento Orientado a Testes &eacute; um processo que modifica o paradigma do desenvolvimento de softwares tradicional. Em vez de desenvolver, primeiramente, seu c&oacute;digo e ajust&aacute;-lo de maneira retroativa para valid&aacute;-lo, o TDD determina que os testes sejam escritos antes e que as adapta&ccedil;&otilde;es sejam, s&oacute; depois, aplicadas ao c&oacute;digo at&eacute; que o projeto atenda aos requisitos do teste j&aacute; definido.
No TDD, voc&ecirc; escreve o teste unit&aacute;rio antes, observa as falhas e ent&atilde;o implementa as altera&ccedil;&otilde;es necess&aacute;rias at&eacute; que n&atilde;o falhe mais. Parece o inverso do normal, certo? Entretanto, o c&oacute;digo que voc&ecirc; produz quando utiliza essa metodologia &eacute; mais limpo e menos propenso a falhar em longo prazo.
Um teste unit&aacute;rio cobre apenas uma pequena por&ccedil;&atilde;o da l&oacute;gica, como fun&ccedil;&otilde;es ou m&eacute;todos. Testes unit&aacute;rios devem ser determin&iacute;sticos, ou seja, n&atilde;o devem apresentar efeitos colaterais, como chamadas para APIs externas que forne&ccedil;am dados aleat&oacute;rios ou vari&aacute;veis. Em vez disso, s&atilde;o utilizados dados simulados, substituindo aqueles que poderiam ser alterados depois de um tempo.
<h3 dir="ltr">5 passos do Desenvolvimento Orientado a Testes (TDD)</h3>
1 &ndash; Leia, entenda e analise o recurso a ser implementado ou a indica&ccedil;&atilde;o de erro.
2 &ndash; Traduza a requisi&ccedil;&atilde;o necess&aacute;ria escrevendo um teste unit&aacute;rio. Importante: se existir configura&ccedil;&atilde;o de hot reload, o teste unit&aacute;rio vai rodar e falhar como se c&oacute;digo algum houvesse sido implementado.
3 &ndash; Escreva e implemente o c&oacute;digo que preenche a solicita&ccedil;&atilde;o. Rode todos os testes. Caso funcionem, est&aacute; tudo certo. Se n&atilde;o, repita o processo.
4 &ndash; Limpe seu c&oacute;digo por meio da refatora&ccedil;&atilde;o.
5 &ndash; Volte ao passo 1 e fa&ccedil;a tudo novamente.
A Figura 1 apresenta esses passos e sua natureza &aacute;gil, c&iacute;clica e iterativa:
<img alt="Figura 1" src="https://tm.ibxk.com.br/2020/08/05/figura-1-05183022094467.jpg" />
O fluxo de trabalho do TDD &eacute; chamado frequentemente de Red-Green-Refactoring (Vermelho-Verde-Refatora&ccedil;&atilde;o), apresentando o status dos testes dentro de cada c&iacute;rculo.
&ndash; A etapa vermelha indica que o c&oacute;digo n&atilde;o funciona.
&ndash; A etapa verde indica que tudo est&aacute; funcionando, mas n&atilde;o necessariamente de maneira otimizada.
&ndash; A etapa azul indica que o respons&aacute;vel pelo teste est&aacute; refatorando o c&oacute;digo; confiante de que o c&oacute;digo passou por v&aacute;rios testes, altera e aprimora o que chegou a ele com mais seguran&ccedil;a.
<h3 dir="ltr">Desenvolvimento Orientado a Testes e CI/CD</h3>
Testes unit&aacute;rios derivados do TDD tamb&eacute;m fazem parte do processo de integra&ccedil;&atilde;o e entrega cont&iacute;nuas (CI/CD). TDD diz respeito especificamente a testes unit&aacute;rios e pipelines CI/CD, como CircleCI, GoCD ou Travis CI, que executam todos os testes unit&aacute;rios no momento de registro de altera&ccedil;&otilde;es realizadas.
Os testes s&atilde;o executados no pipeline de deploy. Caso todos sejam bem-sucedidos, a integra&ccedil;&atilde;o e a implementa&ccedil;&atilde;o acontecer&atilde;o. Por outro lado, caso algum falhe, o processo &eacute; interrompido, garantindo, assim, que a build n&atilde;o seja prejudicada mais &agrave; frente.
Integra&ccedil;&atilde;o cont&iacute;nua (CI) &eacute; a pr&aacute;tica de desenvolvimento que leva desenvolvedores a integrarem c&oacute;digos diversas vezes ao dia a um reposit&oacute;rio compartilhado. Cada entrada &eacute; verificada por uma build automatizada, permitindo que o time respons&aacute;vel pelo projeto detecte problemas precocemente. Com a integra&ccedil;&atilde;o regular, &eacute; poss&iacute;vel verificar falhas rapidamente e localiz&aacute;-las com mais facilidade.
<h3 dir="ltr">Ferramentas, toolchain e Ambiente de Desenvolvimento Integrado (IDE) indicados</h3>
Para produzir seu TDD, voc&ecirc; precisar&aacute; definir quais ferramentas, toolchain e Ambiente de Desenvolvimento Integrado (IDE) ser&atilde;o utilizados nos processos. Em nosso [padr&atilde;o de c&oacute;digo], estamos desenvolvendo um Node.js como exemplo. Estas foram as ferramentas b&aacute;sicas que selecionamos:
&ndash; nvm (Node Version Manager) for Node.js and NPM: NVM permite a voc&ecirc; executar a vers&atilde;o Node.js desejada e alter&aacute;-la sem afetar o node system.
&ndash; Bibliotecas npm para desenvolvimento:&nbsp;
<ul dir="ltr">
<li>
<div>&nbsp;&nbsp; <a href="https://jestjs.io/" target="_blank">Jest</a> para testes unit&aacute;rios</div>
</li>
<li>
<div>&nbsp;&nbsp; <a href="https://eslint.org/" target="_blank">ESLint</a> para executar lint</div>
</li>
<li>
<div>&nbsp;&nbsp; <a href="https://prettier.io/" target="_blank">Prettier</a> para formata&ccedil;&atilde;o do c&oacute;digo</div>
</li>
<li>
<div>&nbsp; &nbsp; Husky e <a href="https://www.npmjs.com/package/lint-staged?activeTab=dependencies" target="_blank">lint-staged</a> para o pr&eacute;-commit dos Git hooks</div>
</li>
</ul>
<h3 dir="ltr">Como escrever testes unit&aacute;rios quem falhem&nbsp;</h3>
H&aacute; duas maneiras de criar testes unit&aacute;rios que falhem.&nbsp;
1 &ndash; Escreva um teste que tenha rela&ccedil;&atilde;o com uma fun&ccedil;&atilde;o de um c&oacute;digo que n&atilde;o exista ainda. Isso vai fazer com que o teste falhe e indique um erro relacionado a uma fun&ccedil;&atilde;o n&atilde;o encontrada (por exemplo, o Erro 404).
2 &ndash; Altere o statement do assert com o intuito de falhar. Ele &eacute; que determina o retorno esperado do c&oacute;digo testado, sendo um aspecto-chave do teste unit&aacute;rio. O statement do assert deve estar relacionado com a fun&ccedil;&atilde;o ou a solicita&ccedil;&atilde;o de corre&ccedil;&atilde;o de bug.&nbsp;
Ent&atilde;o, com o intuito de falhar, voc&ecirc; deve escrever um statement de assert que retorne um valor inesperado em uma estrutura de dados que voc&ecirc; deseja aprimorar. Por exemplo, seu JSON foi desenvolvido para fornecer o nome de uma pessoa, mas a nova implementa&ccedil;&atilde;o especifica o retorno do n&uacute;mero de telefone dela. No teste, voc&ecirc; primeiro escreveria um assert para incluir apenas o nome, o que apresentaria erro. Ent&atilde;o, voc&ecirc; adicionaria o c&oacute;digo para incluir o n&uacute;mero de telefone tamb&eacute;m.
Veja o funcionamento na aplica&ccedil;&atilde;o do c&oacute;digo em si:
Seu statement do assert poderia ser:
assert actualResult == {&lsquo;track&rsquo;:&lsquo;foo fighters&rsquo;}
Assim que a fun&ccedil;&atilde;o &eacute; submetida, o Erro 404 desaparece, mas o resultado final poderia ser um objeto vazio, como {}. Logo, voc&ecirc; deve lapidar o resultado na fun&ccedil;&atilde;o do c&oacute;digo para:
&nbsp;{&lsquo;track&rsquo;:&lsquo;foo fighters&rsquo;}
Agora o teste ser&aacute; bem-sucedido (verde). O c&oacute;digo &eacute; obviamente apenas um elemento abordado por enquanto, mas, a partir disso, &eacute; poss&iacute;vel entender os elementos b&aacute;sicos do processo. O teste est&aacute; aplicado corretamente at&eacute; certo ponto. Depois disso, voc&ecirc; pode implementar a l&oacute;gica efetivamente, podendo, por exemplo, analisar um file/db/call em uma API externa.
<h3 dir="ltr">Quando escrever testes unit&aacute;rios?</h3>
No geral, h&aacute; duas situa&ccedil;&otilde;es em que &eacute; aconselhado escrever testes unit&aacute;rios:
Situa&ccedil;&atilde;o A: para uma hist&oacute;ria concisa que exemplifique a implementa&ccedil;&atilde;o de um recurso. Por exemplo, um recurso poderia ser a contagem do n&uacute;mero de pa&iacute;ses atendidos por uma determinada casa de c&acirc;mbio. A primeira coisa a se fazer &eacute; escrever um teste e verificar as falhas. Depois, o c&oacute;digo deve ser alterado iterativamente at&eacute; que os testes sejam bem-sucedidos.
Situa&ccedil;&atilde;o B: uma parte de c&oacute;digo &ldquo;bugado&rdquo; em desenvolvimento &ldquo;quebra&rdquo;, exigindo a implementa&ccedil;&atilde;o de uma corre&ccedil;&atilde;o. Voltando ao exemplo da casa de c&acirc;mbio, o usu&aacute;rio espera que o c&oacute;digo, quando executado manualmente, retorne um grande n&uacute;mero de pa&iacute;ses que utilizem o d&oacute;lar como moeda, mas o resultado traz apenas um pa&iacute;s.
A primeira coisa a se fazer &eacute; escrever um teste e v&ecirc;-lo falhar. Ent&atilde;o, as corre&ccedil;&otilde;es devem ser implementadas at&eacute; que o teste seja bem-sucedido. Isso n&atilde;o apenas corrige o c&oacute;digo e remove o bug, como tamb&eacute;m oferece um teste unit&aacute;rio que pode ser utilizado repetidamente para manter a integridade do c&oacute;digo como um todo.
<h3 dir="ltr">Conclus&atilde;o</h3>
A maioria dos programadores n&atilde;o escreve c&oacute;digos utilizando o Desenvolvimento Orientado a Testes, mas deveria. O desenvolvimento orientado a testes cria um c&oacute;digo melhor e menos propenso a falhas. Por isso, esperamos que tenha entendido a filosofia do TDD com este texto e a incorpore nas suas pr&aacute;ticas de desenvolvimento.
<h2 dir="ltr">Pr&oacute;ximos passos</h2>
Fique atento a novos posts sobre como efetuar desenvolvimento orientado a testes em Node.js, Java e Python.
<h2 dir="ltr">Recursos</h2>
<h3 dir="ltr">Frameworks de testes unit&aacute;rios recomendados</h3>
<ul dir="ltr">
<li>
<div><a href="https://docs.pytest.org/en/latest/" target="_blank">Pytest</a>: ferramenta open source intuitiva para facilitar a condu&ccedil;&atilde;o de testes unit&aacute;rios</div>
</li>
<li>
<div>Java: <a href="https://junit.org/junit5/" target="_blank">Junit 5</a>: framework amig&aacute;vel de testes para Java</div>
</li>
<li>
<div>NodeJS: <a href="https://jestjs.io/" target="_blank">Jest</a>: framework de testes para JavaScript com foco em simplicidade</div>
</li>
</ul>
<h3 dir="ltr">Livros e artigos &uacute;teis</h3>
<ul dir="ltr">
<li>
<div><a href="https://nordicapis.com/using-test-driven-development-for-microservices/" target="_blank">Using Test-Driven Development for Microservices</a>, Bill Doerrfeld</div>
</li>
<li>
<div><a href="https://www.amazon.com/Test-Driven-Java-Development-Viktor-Farcic-ebook/dp/B00YSIM3SC" target="_blank">Test-driven Java development: Invoke TDD principles for end-to-end application developmnet</a>, 2&ordf; edi&ccedil;&atilde;o, Viktor Farcic</div>
</li>
<li>
<div><a href="https://www.manning.com/books/unit-testing" target="_blank">Unit testing principles, practices, and patterns</a>, Vladimir Khorikov </div>
</li>
</ul>
...
Quer ler mais conte&uacute;do especializado de programa&ccedil;&atilde;o? Conhe&ccedil;a a <a href="https://www.tecmundo.com.br/desenvolvendo-com-ibm-cloud?utm_source=tecmundo&amp;utm_medium=cta&amp;utm_campaign=ibm-blue-profile" target="_blank">IBM Blue Profile</a> e tenha acesso a mat&eacute;rias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e d&ecirc; um upgrade na sua carreira!

thumb-image-2024-04-30T03:03:46.506Z

5 passos do Desenvolvimento Orientado a Testes (TDD)

banner-image-2024-04-30T03:03:53.944Z

Imagem de Estruturando uma infraestrutura de mensagens de alta performance com Kafka no tecmundo

Implemente um adaptador de recursos para integrar o Kafka a soluções Java

Uma vez que a sociedade aderiu &agrave; mobilidade constante, aplica&ccedil;&otilde;es devem disponibilizar dados em tempo real &mdash; n&atilde;o apenas o resultado final em uma tabela armazenada em um banco de dados, mas tamb&eacute;m todas as a&ccedil;&otilde;es executadas por um usu&aacute;rio da solu&ccedil;&atilde;o. Qualquer informa&ccedil;&atilde;o compartilhada, como cliques, log data ou sensor data, &eacute; utilizada para aprimorar a experi&ecirc;ncia, gerar relat&oacute;rios, alimentar sistemas de machine learning e por a&iacute; vai. Hoje, desenvolvedores devem voltar suas aten&ccedil;&otilde;es a sistemas baseados no fluxo de eventos em tempo real.
A imagem a seguir mostra um exemplo de uma arquitetura baseada no processamento do fluxo de eventos:
&nbsp;<img src="https://tm.ibxk.com.br/2020/07/21/figura-21185047451372.png" alt="figura" /><img alt="IBM" src="https://lh4.googleusercontent.com/b4tDx56f1AF1zC3ldLuwg6_daVMqUzlgr0DvYQ9mzbADhvW-MbrJwp2epDSKvvBVjNf4q_1ZZYQm4IxUEQm1mIk_muQ0I7KiCnyiErHzxlcC-JNC2ibB5tL92gfPK7kSsvCPw0rQ" width="417" height="320" style="background-color: transparent;" />
<a href="https://www.ibm.com/cloud/event-streams" style="background-color: transparent;" target="_blank">IBM Event Streams</a> &eacute; uma inst&acirc;ncia gerenciada Kafka para sua empresa.<a href="https://developer.ibm.com/technologies/messaging/articles/set-up-a-reliable-high-performant-distributed-messaging-infrastructure-with-kafka"></a>
<a href="https://kafka.apache.org/" target="_blank">Apache Kafka</a> &eacute; uma solu&ccedil;&atilde;o indicada para a cria&ccedil;&atilde;o de sistemas escal&aacute;veis de eventos complexos. A ferramenta proporciona recursos constantemente aprimorados para plataformas de streaming de eventos que desenvolvedores podem usar em solu&ccedil;&otilde;es avan&ccedil;adas de neg&oacute;cios. Contudo, eles frequentemente precisam integrar solu&ccedil;&otilde;es Java empresariais baseadas em tecnologias como IBM MQ ou IBM WebSphere Application Platform &agrave;s novas arquiteturas.
Considere o seguinte exemplo. Uma loja virtual possui um aplicativo que utiliza Kafka para enviar dados de pagamento a um sistema de pagamento distribu&iacute;do implementado em Java empresarial. A solu&ccedil;&atilde;o deve fornecer garantia absoluta de processar uma solicita&ccedil;&atilde;o de pagamento uma &uacute;nica vez (para evitar cobran&ccedil;as m&uacute;ltiplas do comprador). Contudo, falhas s&atilde;o inevit&aacute;veis em um sistema distribu&iacute;do, ent&atilde;o a solu&ccedil;&atilde;o precisa lidar com os problemas da melhor maneira poss&iacute;vel.
<h2 dir="ltr">Implementando messaging com Apache Kafka</h2>
Apache Kafka &eacute; um sistema distribu&iacute;do utilizado para processamento de fluxo de eventos amplamente utilizado em arquiteturas de microsservi&ccedil;os e ambientes baseados em nuvem. Ele fornece mensagens, armazenamento e processamento de eventos &mdash; tudo na mesma plataforma.
A imagem abaixo mostra uma topologia b&aacute;sica dos componentes do Apache Kafka, formados por produtores e consumidores que trocam mensagens por meio da infraestrutura do cluster Kafka:
&nbsp;<img src="https://tm.ibxk.com.br/2020/07/21/figura-21185136358373.png" alt="figura" />
Mesmo que traga muitas vantagens, Kafka enfrenta problemas como:
<ul>
<li>L&oacute;gica de compensa&ccedil;&atilde;o manual nos casos de falhas de processamento de mensagens, o que pode resultar no n&atilde;o processamento dos dados.</li>
<li>Falta de suporte de processamento para transa&ccedil;&otilde;es XA.</li>
<li>Garantia de somente um processamento de entrega nas aplica&ccedil;&otilde;es do consumidor.</li>
<li>Esfor&ccedil;o extra de desenvolvimento e manuten&ccedil;&atilde;o para a integra&ccedil;&atilde;o da ferramenta a solu&ccedil;&otilde;es empresariais.</li>
</ul>
Para resolver essas quest&otilde;es, &eacute; poss&iacute;vel aplicar os conceitos topol&oacute;gicos tradicionais de messaging, como logs de transa&ccedil;&atilde;o, logs de recupera&ccedil;&atilde;o e transa&ccedil;&otilde;es XA, assim como implementar um adaptador de recursos baseado no Java EE Connector Architecture (JCA). Com essa alternativa, voc&ecirc; pode fornecer recursos ACID ao servidor, visando implementar o processamento de mensagens Kafka. O JCA ent&atilde;o fornece uma integra&ccedil;&atilde;o adequada de suas aplica&ccedil;&otilde;es com solu&ccedil;&otilde;es JAVA EE.
<h2 dir="ltr">Implementando o adaptador de recursos JCA</h2>
O Java EE Connector Architecture define uma s&eacute;rie de mecanismos transacionais escal&aacute;veis e seguros. &Eacute; poss&iacute;vel instalar o adaptador JCA em qualquer aplica&ccedil;&atilde;o compat&iacute;vel com Java EE, como IBM Websphere Application Server, IBM Business Process Manager, JBoss, WebSphere Liberty, Glassfish ou Weblogic.
Suas especifica&ccedil;&otilde;es tamb&eacute;m trazem uma s&eacute;rie de contratos padronizados que possibilitam a comunica&ccedil;&atilde;o entre aplica&ccedil;&otilde;es empresariais e sistemas de informa&ccedil;&atilde;o, como o Kafka. Al&eacute;m disso, o JCA pode funcionar como um plugin no servidor, habilitando a integra&ccedil;&atilde;o com Kafka e gerenciando todos os n&iacute;veis dos mecanismos do sistema (transa&ccedil;&otilde;es, gerenciamento de conex&atilde;o, recupera&ccedil;&atilde;o de falhas, detec&ccedil;&atilde;o de erros e logging). Al&eacute;m disso, o adaptador esconde qualquer l&oacute;gica de comunica&ccedil;&atilde;o pertencente ao Kafka necess&aacute;ria &agrave; integra&ccedil;&atilde;o de aplica&ccedil;&otilde;es empresariais. Ao implementar o adaptador de recursos JCA, o provedor pode se voltar &agrave; estrutura&ccedil;&atilde;o de estrat&eacute;gias e l&oacute;gicas de apresenta&ccedil;&atilde;o relacionadas ao Kafka &mdash; mesmo as mais avan&ccedil;adas. Portanto, o adaptador &eacute; desenvolvido uma &uacute;nica vez e pode ser reutilizado em diferentes aplica&ccedil;&otilde;es.
Vamos relacionar a solu&ccedil;&atilde;o ao nosso cen&aacute;rio de pagamentos observando o seguinte diagrama, que mostra o contexto do sistema da estrat&eacute;gia planejada:
&nbsp;<img src="https://tm.ibxk.com.br/2020/07/21/figura-21185255952374.png" alt="figura" />
A aplica&ccedil;&atilde;o mobile envia os dados da solicita&ccedil;&atilde;o de pagamento para o Kafka, que est&aacute; integrado &agrave; aplica&ccedil;&atilde;o da empresa por meio do adaptador. Al&eacute;m disso, notifica&ccedil;&otilde;es de pagamento s&atilde;o enviadas por meio da solu&ccedil;&atilde;o. O adaptador, ent&atilde;o, inicia uma transa&ccedil;&atilde;o XA, enviada ao sistema empresarial e tamb&eacute;m ao sistema de notifica&ccedil;&otilde;es. Portanto, todas as tarefas relacionadas ao processamento da solicita&ccedil;&atilde;o do pagamento v&atilde;o ser executadas na mesma transa&ccedil;&atilde;o global e poder&atilde;o ser conclu&iacute;das com sucesso ou falhar todas juntas. A estrutura exige configura&ccedil;&otilde;es de t&oacute;picos de novas tentativas, dead letters e log de transa&ccedil;&otilde;es no Kafka, bem como aqueles j&aacute; criados para leitura ou escrita.
Vamos explorar, agora, mais detalhadamente o processamento de mensagens enviadas da e para a aplica&ccedil;&atilde;o mobile.
<h2 dir="ltr">Fluxo de entrada</h2>
Em nosso cen&aacute;rio de pagamento, o fluxo de entrada diz respeito &agrave; comunica&ccedil;&atilde;o iniciada pela aplica&ccedil;&atilde;o mobile da loja online, que envia os dados de pagamento solicitados para o Kafka. O adaptador fornece conectividade e entrega mensagens assincronamente para os endpoints existentes no servidor da aplica&ccedil;&atilde;o. Isso pode ser feito por meio de um contrato inflow determinado pela especifica&ccedil;&atilde;o JCA.
O adaptador de recursos Kafka JCA implementa uma especifica&ccedil;&atilde;o de ativa&ccedil;&atilde;o JavaBean com uma s&eacute;rie de propriedades utilizadas para a configura&ccedil;&atilde;o de ativa&ccedil;&atilde;o do endpoint. Os detalhes dessas configura&ccedil;&otilde;es s&atilde;o definidos como parte de uma configura&ccedil;&atilde;o do servidor da aplica&ccedil;&atilde;o.
O adaptador de recursos consulta periodicamente um lote de solicita&ccedil;&otilde;es de pagamento no t&oacute;pico inbound do Kafka. Depois disso, ele itera pelo lote de dados e entrega mensagens assincronamente &agrave;s inst&acirc;ncias endpoint. M&uacute;ltiplas inst&acirc;ncias endpoint podem existir para cada endpoint de mensagem, o que possibilita consumo concorrente de mensagens e proporciona alta taxa de transfer&ecirc;ncia.
O offset consumidor do Kafka &eacute; confirmado logo ap&oacute;s o agendamento de entrega de mensagem, para evitar problemas com lotes bloqueados. Essa estrutura &eacute; vi&aacute;vel porque o adaptador implementa procedimentos de toler&acirc;ncia a falhas por meio de novas tentativas, dead letters e t&oacute;picos log de transa&ccedil;&otilde;es que precisam ser configurados no Kafka. Em nosso caso, o endpoint precisa suportar transa&ccedil;&otilde;es XA, e o contexto de transa&ccedil;&atilde;o tem de ser criado antes do envio de dados para o endpoint, proporcionando assim um alto consumo de mensagens.
<img src="https://tm.ibxk.com.br/2020/07/21/figura-21185656516375.png" alt="figura" />
Caso a transa&ccedil;&atilde;o fosse recusada pelo servidor da aplica&ccedil;&atilde;o, todo o trabalho realizado pela inst&acirc;ncia endpoint teria de ser revertido e a mensagem precisaria ser encaminhada ao t&oacute;pico de nova tentativa do Kafka.
&nbsp;<img src="https://tm.ibxk.com.br/2020/07/21/figura-21185740001377.png" alt="figura" />
O adaptador consome mensagens do t&oacute;pico de novas tentativas do Kafka e as processa novamente. Depois que o n&uacute;mero de definido de novas tentativas &eacute; excedido, o adaptador transfere a mensagem ao t&oacute;pico de dead letters do Kafka. Pelo fato de essas mensagens possu&iacute;rem dados valiosos, &eacute; importante monitorar o t&oacute;pico.
<img src="https://tm.ibxk.com.br/2020/07/21/figura-21185806751378.png" alt="figura" />
<h2 dir="ltr">Fluxo de sa&iacute;da</h2>
Esse fluxo diz respeito &agrave; comunica&ccedil;&atilde;o iniciada pela aplica&ccedil;&atilde;o da empresa. Em nosso caso, esse sistema &eacute; utilizado para enviar confirma&ccedil;&otilde;es de pagamento para a aplica&ccedil;&atilde;o mobile. A especifica&ccedil;&atilde;o JCA define o contrato de gerenciamento de conex&atilde;o, que ativa um servidor de aplicativos para agrupar conex&otilde;es Kafka. Dessa maneira, proporciona um ambiente escal&aacute;vel que suporta um grande n&uacute;mero de clientes.
Os detalhes da configura&ccedil;&atilde;o de uma conex&atilde;o outbound Kafka s&atilde;o definidos por meio de Managed Connection Factory JavaBean. Se valendo desses detalhes, o adaptador permite a administradores e desenvolvedores configurar o produtor Kafka e aproveitar recursos como confiabilidade, disponibilidade, taxa de transfer&ecirc;ncia, lat&ecirc;ncia e suporte de transa&ccedil;&atilde;o. Tais especifica&ccedil;&otilde;es s&atilde;o definidas como parte da configura&ccedil;&atilde;o do servidor da aplica&ccedil;&atilde;o.
O adaptador de recursos Kafka JCA exp&otilde;e o Kafka Connection Factory e o Kafka Connection que implementam o CCI (Common Client Interface), assim como as interfaces do JMS (Java Message Service). Um componente do aplicativo procura uma connection factory utilizando o nome JNDI (Java Naming and Directory Interface). Depois de obt&ecirc;-la, a aplica&ccedil;&atilde;o a usa para conseguir uma conex&atilde;o e acessar o Kafka. Dessa maneira, &eacute; poss&iacute;vel adicionar uma integra&ccedil;&atilde;o Kafka ao aplicativo do sistema de notifica&ccedil;&atilde;o, que atualmente envia dados para provedores de sistemas de mensagens JMS, como IBM MQ ou Active MQ.
O fluxo de sa&iacute;da do adaptador de recursos encapsula l&oacute;gica de comunica&ccedil;&atilde;o low-level Kafka e faz o seguinte:
<ul>
<li>Pool de conex&atilde;o.</li>
<li>Usa mecanismos transacionais Kafka para garantir entrega &uacute;nica.</li>
<li>Cuida da identifica&ccedil;&atilde;o, do registro e do manuseio de falhas do Kafka normalmente.</li>
<li>Implementa transa&ccedil;&otilde;es XA e, portanto, fornece processamento confi&aacute;vel de mensagens com Kafka em sistemas distribu&iacute;dos.</li>
</ul>
Para gerenciar transa&ccedil;&otilde;es dentro do fluxo de sa&iacute;da, o adaptador de recursos utiliza o contrato de gerenciamento de transa&ccedil;&otilde;es definido pela JCA Specification.
<img src="https://tm.ibxk.com.br/2020/07/21/figura-21185928408380.png" alt="figura" />
No nosso exemplo, a connection factory precisa ser ajustada para suportar transa&ccedil;&otilde;es XA, e o adaptador precisa iniciar a transa&ccedil;&atilde;o Kafka quando o cliente obt&eacute;m a conex&atilde;o. A transa&ccedil;&atilde;o Kafka deve ser cancelada se o servidor reverter a conex&atilde;o. No caso de uma confirma&ccedil;&atilde;o de transa&ccedil;&atilde;o XA, o gerenciador de transa&ccedil;&otilde;es executa um protocolo de confirma&ccedil;&atilde;o de duas etapas em todos os recursos que participam da transa&ccedil;&atilde;o em execu&ccedil;&atilde;o. Isso garante que todo acesso de leitura/escrita aos recursos gerenciados seja confirmado ou revertido.
Por fim, o adaptador de recursos mant&eacute;m o rastreamento de transa&ccedil;&otilde;es em andamento registrando dados no t&oacute;pico de log de transa&ccedil;&atilde;o Kafka. Os dados registrados s&atilde;o utilizados em processos de reembolso, pois fornecem processamento confi&aacute;vel de mensagens em um sistema distribu&iacute;do.
<h2 dir="ltr">Conclus&atilde;o</h2>
A estrat&eacute;gia de configurar um adaptador JCA Kafka garante uma integra&ccedil;&atilde;o &ldquo;plug and play&rdquo; entre JMS e processamento de eventos complexos para solu&ccedil;&otilde;es com padr&otilde;es empresariais Java. Esse design permite integrar perfeitamente o Kafka aos aplicativos corporativos existentes, sem a necessidade de implementar a l&oacute;gica de compensa&ccedil;&atilde;o. Al&eacute;m disso, o adaptador possibilita que um servidor forne&ccedil;a a infraestrutura, o ambiente de tempo de execu&ccedil;&atilde;o para conectividade Kafka e o gerenciamento de transa&ccedil;&otilde;es necess&aacute;rio &agrave; estabilidade do sistema da empresa.
...
Quer ler mais conte&uacute;do especializado de programa&ccedil;&atilde;o? Conhe&ccedil;a a&nbsp;<a href="https://www.tecmundo.com.br/desenvolvendo-com-ibm-cloud?utm_source=tecmundo&amp;utm_medium=cta&amp;utm_campaign=ibm-blue-profile" target="_blank">IBM Blue Profile</a>&nbsp;e tenha acesso a mat&eacute;rias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e d&ecirc; um upgrade na sua carreira!

thumb-image-2024-04-30T03:03:53.944Z

Estruturando uma infraestrutura de mensagens de alta performance com Kafka

banner-image-2024-04-30T03:03:53.985Z

Imagem de Messaging architecture: aplicações confiáveis, escaláveis e autônomas no tecmundo

Comparando filas de mensagens e APIs RESTful no desenvolvimento de aplicações data-driven

thumb-image-2024-04-30T03:03:53.985Z

Messaging architecture: aplicações confiáveis, escaláveis e autônomas

banner-image-2024-04-30T03:03:58.019Z

Imagem de Uma introdução ao Kafka no tecmundo

Aprenda tudo sobre as plataformas mais populares para distribuição de mensagens ou fluxo de dados

No mundo da TI, o Apache Kafka (ao qual ser&aacute; referido apenas como Kafka) &eacute;, atualmente, a plataforma mais popular de distribui&ccedil;&atilde;o de mensagens ou fluxo de informa&ccedil;&otilde;es. Qualquer aplica&ccedil;&atilde;o que funcione com qualquer tipo de informa&ccedil;&atilde;o (registros, eventos ou outros) e requeira que essa informa&ccedil;&atilde;o seja transferida, al&eacute;m de transformada ao se mover por seus componentes, pode se beneficiar do Kafka. Ele come&ccedil;ou como um projeto no LinkedIn e depois seu c&oacute;digo foi aberto com o objetivo de facilitar a sua ado&ccedil;&atilde;o. Ao longo dos &uacute;ltimos anos, continuou sendo um projeto de c&oacute;digo aberto e se desenvolveu bastante. <a href="http://kafka.apache.org/powered-by">Grandes nomes</a> da tecnologia da informa&ccedil;&atilde;o o utilizam em seu ambiente de produ&ccedil;&atilde;o.
<h2 dir="ltr">Alguns dos componentes b&aacute;sicos do Kafka s&atilde;o:</h2>
<ul>
<li dir="ltr">
Broker &mdash; &eacute; onde os dados enviados ao Kafka s&atilde;o armazenados. Eles s&atilde;o respons&aacute;veis por receb&ecirc;-los e armazen&aacute;-los assim que chegam. O broker tamb&eacute;m fornece-os quando requisitado. Muitos dos brokers Kafka trabalham juntos na forma&ccedil;&atilde;o de um cluster. O Kafka utiliza o Apache ZooKeeper para armazenar metadados sobre o cluster. Os brokers usam esses metadados na detec&ccedil;&atilde;o de falhas (por exemplo as do broker) e se recuperar delas.
</li>
<li dir="ltr">
Produtor &mdash; &eacute; uma entidade que envia dados ao broker. Existem diferentes tipos de produtores. O Kafka vem com o seu pr&oacute;prio, escrito em Java, mas existem muitas outras bibliotecas Kafka de clientes que suportam C/C++, Go, Python, REST e mais.
</li>
<li dir="ltr">
Consumidor &mdash; &eacute; uma entidade que requer dados do broker. Similar ao caso do produtor, al&eacute;m do consumidor Java incorporado, existem outros consumidores de c&oacute;digo aberto a desenvolvedores interessados em APIs que n&atilde;o estejam em Java.
</li>
</ul>
O Kafka armazena dados em t&oacute;picos, os quais s&atilde;o enviados pelos produtores a t&oacute;picos Kafka espec&iacute;ficos, e os consumidores tamb&eacute;m os leem. Cada t&oacute;pico tem uma parti&ccedil;&atilde;o ou mais. As informa&ccedil;&otilde;es enviadas a um t&oacute;pico s&atilde;o armazenadas ao final, em apenas uma dessas parti&ccedil;&otilde;es. Cada uma delas &eacute; hospedada por um broker e n&atilde;o pode se expandir por meio de brokers m&uacute;ltiplos.&nbsp;
<h2 dir="ltr">Existem algumas raz&otilde;es da cont&iacute;nua popularidade e ado&ccedil;&atilde;o do Kafka no mercado</h2>
<ul>
<li dir="ltr">
Escalabilidade: dois importantes recursos do Kafka contribuem para sua escalabilidade. Um cluster Kafka pode se expandir ou encolher (os brokers podem ser adicionados ou removidos) enquanto opera, sem perigo de quedas. Ao mesmo tempo, um t&oacute;pico Kafka pode ser expandido com o intuito de conter mais parti&ccedil;&otilde;es. Devido ao fato de que a parti&ccedil;&atilde;o n&atilde;o pode se expandir atrav&eacute;s de brokers m&uacute;ltiplos, sua capacidade est&aacute; restrita ao espa&ccedil;o de disco do broker. Ser capaz de aumentar o n&uacute;mero de parti&ccedil;&otilde;es e de brokers significa que n&atilde;o h&aacute; limite na quantidade de informa&ccedil;&atilde;o que um t&oacute;pico sozinho pode armazenar.
</li>
<li dir="ltr">
Toler&acirc;ncia a falhas e confiabilidade: o Kafka foi projetado de maneira que uma falha com um broker seja detect&aacute;vel por outros em um cluster. Uma vez que cada t&oacute;pico pode ser replicado em m&uacute;ltiplos brokers, o cluster pode se recuperar de tais falhas e continuar a operar sem nenhuma interrup&ccedil;&atilde;o de servi&ccedil;o.
</li>
<li dir="ltr">
Desempenho: os brokers conseguem armazenar e recuperar informa&ccedil;&otilde;es de forma eficiente em uma velocidade super-r&aacute;pida.
</li>
</ul>
A Figura 1 mostra 1 cluster Kafka que cont&eacute;m 4 brokers e armazena 3 t&oacute;picos (t1, t2 e t3). O t1 apresenta apenas 1 parti&ccedil;&atilde;o e &eacute; replicado 3 vezes, enquanto o t2 e o t3 t&ecirc;m 2 parti&ccedil;&otilde;es (cada) e s&atilde;o replicados 2 vezes. Fica claro pela imagem que esse cluster consegue sobreviver a uma falha simples do broker sem perder nenhum dado. Ele pode sobreviver a uma falha dupla de broker se os brokers 1 e 4 ou 3 e 4 forem os pares que falharem. Qualquer outro par que falhe far&aacute; com que alguns dados sejam perdidos.
<h2>Figura 1. Um cluster Kafka simples</h2>
<h2 dir="ltr"><img src="https://tm.ibxk.com.br/2020/07/13/cluster-kafka-simples-13182944008362.png" alt="cluster Kafka simples" />(Fonte: IBM Developer)</h2>
<h3 dir="ltr">Uma variedade de configura&ccedil;&otilde;es de produtores e consumidores pode trabalhar com esse cluster. Por exemplo:</h3>
<ul>
<li dir="ltr">
o cliente 1 pode produzir para o t&oacute;pico 1 (atuando como produtor);
</li>
<li dir="ltr">
o cliente 2 pode produzir para o t&oacute;pico 2 (atuando como produtor);
</li>
<li dir="ltr">
o cliente 3 pode ler dos t&oacute;picos 1 e 2 com a finalidade de criar para o t&oacute;pico 3 (atuando tanto como consumidor como produtor);
</li>
<li dir="ltr">
O cliente 4 pode ler do t&oacute;pico 3.
</li>
</ul>
Em certos casos, pode-se ter um fluxo de dados cont&iacute;nuo e em tempo real para alguns desses t&oacute;picos. Por exemplo, o t&oacute;pico 1 cont&eacute;m leituras de temperatura de v&aacute;rios sensores em uma f&aacute;brica, enquanto o t&oacute;pico 2 tem informa&ccedil;&otilde;es detalhadas sobre esses sensores.&nbsp;
Ent&atilde;o, o cliente 3 da configura&ccedil;&atilde;o acima receberia de forma cont&iacute;nua as leituras de temperatura, cruzando os dados com as especifica&ccedil;&otilde;es mais recentes dos sensores, detectando anomalias e reportando-as no t&oacute;pico 3. Nesse cen&aacute;rio, o cliente 3 &eacute; uma aplica&ccedil;&atilde;o de fluxo simples que l&ecirc; informa&ccedil;&otilde;es de um ou mais t&oacute;picos Kafka, faz um pouco de processamento e cria sa&iacute;das para outros t&oacute;picos Kafka &mdash; tudo isso em tempo real.
A an&aacute;lise das informa&ccedil;&otilde;es em tempo real vinda de dispositivos IoT ou a&ccedil;&otilde;es de usu&aacute;rios em um site s&atilde;o alguns exemplos do que os fluxos Kafka d&atilde;o conta facilmente. Outros usos est&atilde;o listados na documenta&ccedil;&atilde;o de fluxos Kafka referenciada no final deste artigo.
Por causa das funcionalidades descritas acima, o Kafka &eacute; uma escolha popular para transmitir dados e processos de ELT. Na verdade, o API de fluxos &eacute; parte integrante do Kafka e facilita o desenvolvimento de aplica&ccedil;&otilde;es de fluxo que processam dados em curso. &Eacute; justo dizer que o Kafka surgiu como uma plataforma de processamento de mensagens em lotes e agora se tornou a plataforma de processamento de fluxos preferida das pessoas. O Kafka Streams pode ainda ser aumentado com outro projeto de c&oacute;digo aberto, chamado de KSQL, que simplificou significativamente o desenvolvimento de aplica&ccedil;&otilde;es Kafka Streams usando declara&ccedil;&otilde;es do tipo SQL.
O Kafka e o Kafka Streams t&ecirc;m muito mais a oferecer do que foi descrito neste curto artigo. Os materiais referenciados abaixo os descrevem com mais detalhes e fornecem exemplos de c&oacute;digos. Eles s&atilde;o altamente recomendados a qualquer pessoa que queira ter mais conhecimento de seus interiores e saber a maneira de us&aacute;-los na pr&aacute;tica.
...
Quer ler mais conte&uacute;do especializado de programa&ccedil;&atilde;o? Conhe&ccedil;a a&nbsp;<a href="https://www.tecmundo.com.br/desenvolvendo-com-ibm-cloud?utm_source=tecmundo&amp;utm_medium=cta&amp;utm_campaign=ibm-blue-profile" target="_blank">IBM Blue Profile</a>&nbsp;e tenha acesso a mat&eacute;rias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e d&ecirc; um upgrade na sua carreira!

thumb-image-2024-04-30T03:03:58.019Z

Uma introdução ao Kafka

A Queda de P. Diddy estreia 1º de fevereiro no @streammaxbr! O documentário revela os bastidores das polêmicas que abalaram a carreira do rapper. Você vai assistir? 👀🎬 #AQuedaDePDiddy #PDiddy #Documentário #TrueCrime #Max #Streaming

💥🚨 Novo Documentário BOMBÁSTICO sobre P. Diddy!

Os melhores EASTER EGGS de Seu Amigão da Vizinhança Homem-Aranha, nova animação da Marvel! #MCU #Marvel #HomemAranha #SpiderMan #peterparker #SeuAmigãodaVizinhançaHomemAranha

🕷️🕸️ EASTER EGGS DA NOVA ANIMAÇÃO DE HOMEM-ARANHA

O choque ao assistir esse filme pela primeira vez e a tristeza 🥺 #cenasdefilmes #umolhardoparaiso #saoirseRonan #stanleytucci

"Meu sobrenome é Salmão, igual ao peixe. Primeiro nome: Susie." 😢

Melhores Cenas

Os fones mais diferenciados da Huawei tanto em design quanto em funcionalidade estão recebendo oficialmente uma cor nova aqui no Brasil! É o FreeClip, que têm características que a gente não encontra na grande maioria dos fones de ouvido, mesmo entre os modelos True Wireless. 🔥 Saiba mais sobre o Huawei FreeClip: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/FreeClipHuawei #[Tipo: Publieditorial] #[Tipo: Shorts] Extensão do TecMundo: encontre cupons escondidos nas principais lojas online: <a href="http://" target="_blank" rel="nofollow noopener">http://</a>bit.ly/3ZkKOji - Os melhores cupons Online para você! <a href="https://www." target="_blank" rel="nofollow noopener">https://www.</a>tecmundo.com.br/cupons 💡 Participe dos canais do TecMundo no WhatsApp! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatstecmundo - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsmegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JSpOKX 💡 Temos grupos também no Telegram! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JZoTbm - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegrammegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramthebrief CRÉDITOS Roteiro: Leonardo Rocha Apresentação: Leonardo Rocha Imagens e áudio: Felipe Pedro (Felps) e Gustavo Katsumi Produção: Diana Pordeus e Vitória Schmitz Edição de vídeo: Larissa Kinoshita A melhor programação está no TecMundo - História da Tecnologia - Análises, Unboxings e tudo sobre Produtos! - TecDocs - Matérias especiais - Assistência Tec - Lives de tradução e cobertura de eventos - Listas - Hoje no TecMundo #Tecnologia #FashionForward #TecMundo

Tem cor nova chegando para os fones mais diferenciados da #Huawei ! #huaweifreeclip #fashioedge

Dicas e apresentações de produtos, softwares e serviços

Shorts

Um smartwatch premium de verdade precisa combinar tecnologias e recursos avançados com um design elegante e sofisticado que você só encontra em um acessório de luxo. E o Huawei Watch ULTIMATE traz essa combinação como nenhum outro relógio conectado faz! - Saiba mais sobre o Huawei Watch Ultimate: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/huaweiultimate #[Tipo: Publieditorial] #[Tipo: Shorts] Extensão do TecMundo: encontre cupons escondidos nas principais lojas online: <a href="http://" target="_blank" rel="nofollow noopener">http://</a>bit.ly/3ZkKOji - Os melhores cupons Online para você! <a href="https://www." target="_blank" rel="nofollow noopener">https://www.</a>tecmundo.com.br/cupons 💡 Participe dos canais do TecMundo no WhatsApp! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatstecmundo - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsmegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JSpOKX 💡 Temos grupos também no Telegram! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JZoTbm - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegrammegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramthebrief CRÉDITOS Roteiro: Leonardo Rocha Apresentação: Leonardo Rocha Imagens e áudio: Felipe Pedro (Felps) e Gustavo Katsumi Produção: Vitória Schmitz Edição de vídeo: Larissa Kinoshita A melhor programação está no TecMundo - História da Tecnologia - Análises, Unboxings e tudo sobre Produtos! - TecDocs - Matérias especiais - Assistência Tec - Lives de tradução e cobertura de eventos - Listas - Hoje no TecMundo #huaweiultimate #fashionforward #tecmundo

O smartwatch premium de verdade que você merece! Huawei Watch ULTIMATE #fashionedge #huawei

O SSD externo Lexar SL400 é um acessório que promete entregar um setup profissional para você que usa sempre o celular para criar conteúdo. Ele traz um pacote muito completo que inclui até um hub USB-C, aí você consegue plugar microfones, carregadores e outros acessórios ao mesmo tempo. 🔥 Extensão do TecMundo: encontre cupons escondidos nas principais lojas online: <a href="http://" target="_blank" rel="nofollow noopener">http://</a>bit.ly/3ZkKOji - Os melhores cupons Online para você! <a href="https://www." target="_blank" rel="nofollow noopener">https://www.</a>tecmundo.com.br/cupons 💡 Participe dos canais do TecMundo no WhatsApp! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatstecmundo - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsmegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JSpOKX 💡 Temos grupos também no Telegram! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JZoTbm - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegrammegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramthebrief CRÉDITOS Roteiro e apresentação: Wellington Arruda Imagens e áudio: Wellington Arruda Edição de vídeo: Rodrigo Doze Motion Graphics: Gustavo Silva A melhor programação está no TecMundo - História da Tecnologia - Entenda - Análises, Unboxings e tudo sobre Produtos! - TecDocs - Matérias especiais - Assistência Tec - Drops de Notícias - Listas - Hoje no TecMundo #Lexar #Computex2024 #ssd #TecMundo

Mini SSD Lexar SL400: setup profissional só com o celular #ssd #lexar

As melhores séries de ficção científica para assistir HOJE! #silo #Duna #Dunaaprofecia #MatériaEscura #Ficçãocientifica #dicasdeséries #appletv #Max

As 3 MELHORES séries RECENTES de Ficção Científica para assistir HOJE!

Dicas de Séries

A Xiaomi acabou de lançar os novos Redmi Note 14! Os novos Redmi Note 14 4G, Note 14 5G, Redmi Note 14 Pro e Note 14 Pro+ chegam ao Brasil com preços que vão de R$ 2,5 mil até R$ 6 mil. Extensão do TecMundo: encontre cupons escondidos nas principais lojas online: <a href="http://" target="_blank" rel="nofollow noopener">http://</a>bit.ly/3ZkKOji - Os melhores cupons Online para você! <a href="https://www." target="_blank" rel="nofollow noopener">https://www.</a>tecmundo.com.br/cupons 💡 Participe dos canais do TecMundo no WhatsApp! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatstecmundo - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsmegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JSpOKX 💡 Temos grupos também no Telegram! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JZoTbm - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegrammegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramthebrief CRÉDITOS Roteiro e apresentação: Wellington Arruda Imagens e áudio: Gustavo Katsumi Edição de vídeo: Rafael Nogoceke Motion Graphics: Gustavo Silva A melhor programação está no TecMundo - História da Tecnologia - Análises, Unboxings e tudo sobre Produtos! - TecDocs - Matérias especiais - Assistência Tec - Lives de tradução e cobertura de eventos - Listas - Hoje no TecMundo #xiaomi #redmi #redminote14series #TecMundo

Redmi Note 14 lançado: câmera de 200 MP e até R$ 6 mil #xiaomi  #smartphone

Série de espionagem com Noah Centineo é a dica da vez para maratonar! A segunda temporada de Recruta chega em 30/jan na Netflix #noahCentineo #Recruta #Recruit #netflix #sériesnetflix #dicasdeséries

Série RECRUTA com Noah Centineo estreia hoje

Será que Karla Sofia Gascón pode perder a indicação ao Oscar pelas falas sobre a equipe de Fernanda Torres? Saiba mais sobre a polêmica aqui! #karlasofiagascon #oscar2025 #fernandatorres #oscars #aindaestouaqui #emiliaperez #polemica #treta #notícia #news #oscar

🚨Karla Sofia Gascón vai PERDER indicação ao OSCAR? #emiliaperez

Notícias sobre Filmes

Anora acabou de chegar aos cinemas e eu já assisti! Se você quer um filme divertido, mas com um toque de drama, esse é para você! #Anora #Oscar #filmesdoOscar #Dicasdefilmes #mikeyMadison

Dançarina erótica e herdeiro Russo, este é "ANORA": um conto de fadas destinado ao fracasso

Dicas de Filmes

#huawei #watchultimate #fashionedge [Tipo: Publieditorial]

IBMDados