banner-image-2024-04-30T03:03:41.888Z

Imagem de Determine tópicos em tendência com análise de fluxo de cliques no tecmundo

Utilize o Apache Spark e o Apache Kafka para coletar, analisar e gerar relatórios sobre dados sobre visitantes de websites

Por: Prashant Sharma e <a href="https://developer.ibm.com/profiles/rich.hagarty/" target="_blank">Richard Hagarty</a>.
Atualizado em: 28 de mar&ccedil;o de 2019. | Publicado em: 27 de fevereiro de 2018.
<h3 dir="ltr">Resumo</h3>
A an&aacute;lise de fluxo de cliques &eacute; o processo de coletar, analisar e gerar relat&oacute;rios a respeito de quais p&aacute;ginas um usu&aacute;rio visita, o que pode oferecer informa&ccedil;&otilde;es &uacute;teis sobre caracter&iacute;sticas de uso de um site. Neste padr&atilde;o de codifica&ccedil;&atilde;o, utilizaremos a an&aacute;lise de fluxo de cliques para demonstrar como detectar t&oacute;picos em tend&ecirc;ncia em tempo real no Wikip&eacute;dia.
<h3 dir="ltr">Descri&ccedil;&atilde;o</h3>
A an&aacute;lise de fluxo de cliques &eacute; o processo de coletar, analisar e gerar relat&oacute;rios a respeito de quais p&aacute;ginas um usu&aacute;rio visita, o que pode oferecer informa&ccedil;&otilde;es &uacute;teis sobre caracter&iacute;sticas de uso de um site.
Alguns usos populares desse tipo de abordagem incluem:
<ul>
<li dir="ltr">
Testes A/B: estudo estat&iacute;stico de como usu&aacute;rios de um site s&atilde;o afetados por mudan&ccedil;as de uma vers&atilde;o A para uma vers&atilde;o B;
</li>
<li dir="ltr">
Gera&ccedil;&atilde;o de recomenda&ccedil;&otilde;es em sites de venda: padr&otilde;es de cliques de consumidores em um portal indicam como um usu&aacute;rio foi influenciado a comprar algo. Essa informa&ccedil;&atilde;o pode ser utilizada como geradora de recomenda&ccedil;&otilde;es para futuros padr&otilde;es de cliques;
</li>
<li dir="ltr">
Publicidade direcionada: similar &agrave; gera&ccedil;&atilde;o de recomenda&ccedil;&otilde;es, &eacute; poss&iacute;vel rastrear cliques do usu&aacute;rio em sites e utilizar essa informa&ccedil;&atilde;o para direcionar publicidade em tempo real e com mais efici&ecirc;ncia;
</li>
<li dir="ltr">
T&oacute;picos em tend&ecirc;ncia: a an&aacute;lise do fluxo de cliques pode ser utilizada para estudos ou gera&ccedil;&atilde;o de t&oacute;picos em tend&ecirc;ncia em tempo real. Considerando-se um intervalo de tempo em particular, &eacute; poss&iacute;vel exibir os itens mais acessados para otimizar o n&uacute;mero de cliques.
</li>
</ul>
No padr&atilde;o de codifica&ccedil;&atilde;o a seguir, demonstraremos como detectar t&oacute;picos em tend&ecirc;ncia em tempo real no Wikip&eacute;dia. Para executar essa tarefa, utilizaremos o Apache Kafka como fila de mensagens, assim como o mecanismo de streaming estruturado Apache Spark para realizar a an&aacute;lise. Essa combina&ccedil;&atilde;o &eacute; bem conhecida por caracter&iacute;sticas como usabilidade, alto rendimento e baixa lat&ecirc;ncia.
Ao completar esse padr&atilde;o, voc&ecirc; vai entender como:
<ul>
<li dir="ltr">
Utilizar o <a href="https://jupyter.org/" target="_blank">Jupyter Notebooks</a> para carregar, visualizar e analisar dados;
</li>
<li dir="ltr">
Executar o Jupyter Notebooks no <a href="https://www.ibm.com/cloud/watson-studio" target="_blank">IBM Watson Studio</a>;
</li>
<li dir="ltr">
Realizar uma an&aacute;lise de fluxo de cliques utilizando o mecanismo de streaming estruturado Apache Spark;
</li>
<li dir="ltr">
Construir um fluxo de processamento de baixa lat&ecirc;ncia utilizando o Apache Kafka.
</li>
</ul>
<img alt="Usu&aacute;rio / Nuvem p&uacute;blica
" src="https://tm.ibxk.com.br/2020/08/13/usuario-nuvem-publica-13174532315288.png" />Usu&aacute;rio / Nuvem p&uacute;blica 
<ul dir="ltr">
<li>
<div>1. Conecte-se com o Apache Kafka e configure uma inst&acirc;ncia em execu&ccedil;&atilde;o de um fluxo de cliques;</div>
</li>
<li>
<div>2. Execute um Jupyter Notebook no Watson Studio que interaja com o servi&ccedil;o Apache Spark subjacente. Isso tamb&eacute;m pode ser feito localmente com o Spark Shell;</div>
</li>
<li>
<div>3. O Apache Spark carrega e processa os dados vindos do Apache Kafka;</div>
</li>
<li>
<div>4. Os dados processados s&atilde;o transmitidos novamente a voc&ecirc; por meio do Jupyter Notebook (ou reposit&oacute;rio de sink, no caso de execu&ccedil;&atilde;o local).</div>
</li>
</ul>
<h2 dir="ltr">Instru&ccedil;&otilde;es</h2>
Encontre o passo a passo detalhado deste padr&atilde;o em <a href="https://github.com/IBM/kafka-streaming-click-analysis/blob/master/README.md" target="_blank">README</a>. Existem duas maneiras de exercitar essa habilidade:
<ul>
<li dir="ltr">
Executando tudo localmente utilizando Spark Shell;
</li>
<li dir="ltr">
Utilizando o Jupyter Notebooks no <a href="https://www.ibm.com/cloud/watson-studio" target="_blank">IBM Watson Studio</a>. Nota: para realizar esse tipo de abordagem, voc&ecirc; precisar&aacute; de um servi&ccedil;o <a href="https://www.ibm.com/cloud/event-streams" target="_blank">Event Streams</a>, que cobra taxas nominais.
</li>
</ul>
...&nbsp;
Quer ler mais conte&uacute;do especializado de programa&ccedil;&atilde;o? Conhe&ccedil;a a <a href="https://www.tecmundo.com.br/desenvolvendo-com-ibm-cloud?utm_source=tecmundo&amp;utm_medium=cta&amp;utm_campaign=ibm-blue-profile" target="_blank">IBM Blue Profile</a> e tenha acesso a mat&eacute;rias exclusivas, novas jornadas de conhecimento e testes personalizados. Confira agora mesmo, consiga as badges e d&ecirc; um upgrade na sua carreira!

thumb-image-2024-04-30T03:03:41.888Z

Determine tópicos em tendência com análise de fluxo de cliques

A Queda de P. Diddy estreia 1º de fevereiro no @streammaxbr! O documentário revela os bastidores das polêmicas que abalaram a carreira do rapper. Você vai assistir? 👀🎬 #AQuedaDePDiddy #PDiddy #Documentário #TrueCrime #Max #Streaming

💥🚨 Novo Documentário BOMBÁSTICO sobre P. Diddy!

Os melhores EASTER EGGS de Seu Amigão da Vizinhança Homem-Aranha, nova animação da Marvel! #MCU #Marvel #HomemAranha #SpiderMan #peterparker #SeuAmigãodaVizinhançaHomemAranha

🕷️🕸️ EASTER EGGS DA NOVA ANIMAÇÃO DE HOMEM-ARANHA

O choque ao assistir esse filme pela primeira vez e a tristeza 🥺 #cenasdefilmes #umolhardoparaiso #saoirseRonan #stanleytucci

"Meu sobrenome é Salmão, igual ao peixe. Primeiro nome: Susie." 😢

Melhores Cenas

Os fones mais diferenciados da Huawei tanto em design quanto em funcionalidade estão recebendo oficialmente uma cor nova aqui no Brasil! É o FreeClip, que têm características que a gente não encontra na grande maioria dos fones de ouvido, mesmo entre os modelos True Wireless. 🔥 Saiba mais sobre o Huawei FreeClip: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/FreeClipHuawei #[Tipo: Publieditorial] #[Tipo: Shorts] Extensão do TecMundo: encontre cupons escondidos nas principais lojas online: <a href="http://" target="_blank" rel="nofollow noopener">http://</a>bit.ly/3ZkKOji - Os melhores cupons Online para você! <a href="https://www." target="_blank" rel="nofollow noopener">https://www.</a>tecmundo.com.br/cupons 💡 Participe dos canais do TecMundo no WhatsApp! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatstecmundo - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsmegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JSpOKX 💡 Temos grupos também no Telegram! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JZoTbm - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegrammegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramthebrief CRÉDITOS Roteiro: Leonardo Rocha Apresentação: Leonardo Rocha Imagens e áudio: Felipe Pedro (Felps) e Gustavo Katsumi Produção: Diana Pordeus e Vitória Schmitz Edição de vídeo: Larissa Kinoshita A melhor programação está no TecMundo - História da Tecnologia - Análises, Unboxings e tudo sobre Produtos! - TecDocs - Matérias especiais - Assistência Tec - Lives de tradução e cobertura de eventos - Listas - Hoje no TecMundo #Tecnologia #FashionForward #TecMundo

Tem cor nova chegando para os fones mais diferenciados da #Huawei ! #huaweifreeclip #fashioedge

Dicas e apresentações de produtos, softwares e serviços

Shorts

Um smartwatch premium de verdade precisa combinar tecnologias e recursos avançados com um design elegante e sofisticado que você só encontra em um acessório de luxo. E o Huawei Watch ULTIMATE traz essa combinação como nenhum outro relógio conectado faz! - Saiba mais sobre o Huawei Watch Ultimate: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/huaweiultimate #[Tipo: Publieditorial] #[Tipo: Shorts] Extensão do TecMundo: encontre cupons escondidos nas principais lojas online: <a href="http://" target="_blank" rel="nofollow noopener">http://</a>bit.ly/3ZkKOji - Os melhores cupons Online para você! <a href="https://www." target="_blank" rel="nofollow noopener">https://www.</a>tecmundo.com.br/cupons 💡 Participe dos canais do TecMundo no WhatsApp! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatstecmundo - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsmegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JSpOKX 💡 Temos grupos também no Telegram! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JZoTbm - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegrammegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramthebrief CRÉDITOS Roteiro: Leonardo Rocha Apresentação: Leonardo Rocha Imagens e áudio: Felipe Pedro (Felps) e Gustavo Katsumi Produção: Vitória Schmitz Edição de vídeo: Larissa Kinoshita A melhor programação está no TecMundo - História da Tecnologia - Análises, Unboxings e tudo sobre Produtos! - TecDocs - Matérias especiais - Assistência Tec - Lives de tradução e cobertura de eventos - Listas - Hoje no TecMundo #huaweiultimate #fashionforward #tecmundo

O smartwatch premium de verdade que você merece! Huawei Watch ULTIMATE #fashionedge #huawei

O SSD externo Lexar SL400 é um acessório que promete entregar um setup profissional para você que usa sempre o celular para criar conteúdo. Ele traz um pacote muito completo que inclui até um hub USB-C, aí você consegue plugar microfones, carregadores e outros acessórios ao mesmo tempo. 🔥 Extensão do TecMundo: encontre cupons escondidos nas principais lojas online: <a href="http://" target="_blank" rel="nofollow noopener">http://</a>bit.ly/3ZkKOji - Os melhores cupons Online para você! <a href="https://www." target="_blank" rel="nofollow noopener">https://www.</a>tecmundo.com.br/cupons 💡 Participe dos canais do TecMundo no WhatsApp! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatstecmundo - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsmegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JSpOKX 💡 Temos grupos também no Telegram! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JZoTbm - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegrammegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramthebrief CRÉDITOS Roteiro e apresentação: Wellington Arruda Imagens e áudio: Wellington Arruda Edição de vídeo: Rodrigo Doze Motion Graphics: Gustavo Silva A melhor programação está no TecMundo - História da Tecnologia - Entenda - Análises, Unboxings e tudo sobre Produtos! - TecDocs - Matérias especiais - Assistência Tec - Drops de Notícias - Listas - Hoje no TecMundo #Lexar #Computex2024 #ssd #TecMundo

Mini SSD Lexar SL400: setup profissional só com o celular #ssd #lexar

As melhores séries de ficção científica para assistir HOJE! #silo #Duna #Dunaaprofecia #MatériaEscura #Ficçãocientifica #dicasdeséries #appletv #Max

As 3 MELHORES séries RECENTES de Ficção Científica para assistir HOJE!

Dicas de Séries

A Xiaomi acabou de lançar os novos Redmi Note 14! Os novos Redmi Note 14 4G, Note 14 5G, Redmi Note 14 Pro e Note 14 Pro+ chegam ao Brasil com preços que vão de R$ 2,5 mil até R$ 6 mil. Extensão do TecMundo: encontre cupons escondidos nas principais lojas online: <a href="http://" target="_blank" rel="nofollow noopener">http://</a>bit.ly/3ZkKOji - Os melhores cupons Online para você! <a href="https://www." target="_blank" rel="nofollow noopener">https://www.</a>tecmundo.com.br/cupons 💡 Participe dos canais do TecMundo no WhatsApp! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatstecmundo - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsmegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/whatsminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JSpOKX 💡 Temos grupos também no Telegram! - TecMundo: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/3JZoTbm - Voxel: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramvoxel - Mega Curioso: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegrammegacurioso - Minha Série: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramminhaserie - The BRIEF: <a href="https://" target="_blank" rel="nofollow noopener">https://</a>bit.ly/telegramthebrief CRÉDITOS Roteiro e apresentação: Wellington Arruda Imagens e áudio: Gustavo Katsumi Edição de vídeo: Rafael Nogoceke Motion Graphics: Gustavo Silva A melhor programação está no TecMundo - História da Tecnologia - Análises, Unboxings e tudo sobre Produtos! - TecDocs - Matérias especiais - Assistência Tec - Lives de tradução e cobertura de eventos - Listas - Hoje no TecMundo #xiaomi #redmi #redminote14series #TecMundo

Redmi Note 14 lançado: câmera de 200 MP e até R$ 6 mil #xiaomi  #smartphone

Série de espionagem com Noah Centineo é a dica da vez para maratonar! A segunda temporada de Recruta chega em 30/jan na Netflix #noahCentineo #Recruta #Recruit #netflix #sériesnetflix #dicasdeséries

Série RECRUTA com Noah Centineo estreia hoje

Será que Karla Sofia Gascón pode perder a indicação ao Oscar pelas falas sobre a equipe de Fernanda Torres? Saiba mais sobre a polêmica aqui! #karlasofiagascon #oscar2025 #fernandatorres #oscars #aindaestouaqui #emiliaperez #polemica #treta #notícia #news #oscar

🚨Karla Sofia Gascón vai PERDER indicação ao OSCAR? #emiliaperez

Notícias sobre Filmes

Anora acabou de chegar aos cinemas e eu já assisti! Se você quer um filme divertido, mas com um toque de drama, esse é para você! #Anora #Oscar #filmesdoOscar #Dicasdefilmes #mikeyMadison

Dançarina erótica e herdeiro Russo, este é "ANORA": um conto de fadas destinado ao fracasso

Dicas de Filmes

#huawei #watchultimate #fashionedge [Tipo: Publieditorial]

IBMScala

Determine tópicos em tendência com análise de fluxo de cliques

Mais notícias sobre IBMScala