poc-asynq-colly-images
Prova de conceito usando Go, Asynq e Colly para capturar imagens via scraping, processar tarefas de forma assincrona e armazenar resultados.
Prova de conceito para capturar imagens via scraping e processar resultados por tarefas assincronas.
project.context
Pipeline de coleta de dados com fila e workers.
Problema resolvido
Scraping precisa lidar com volume, falhas e processamento posterior sem travar a coleta.
Arquitetura
Colly faz a coleta, Asynq enfileira processamento e Redis sustenta a coordenacao dos workers.
Stack principal
Go, Asynq, Colly, Workers, Redis
- Crawler com Colly
- Processamento assincrono
- Workers isolados
- Base para persistencia de resultados
- Controlar concorrencia
- Tratar falhas de coleta
- Separar coleta de processamento
- Pipelines ficam mais robustos com etapas isoladas
- Fila ajuda a absorver picos
- Scraping exige limites e observabilidade
Continue explorando projetos conectados.
A relacao usa categoria, stack e destaque para sugerir caminhos proximos dentro do portfolio.
yt-dlp-downloader
MVP em Go para download de videos por URL, com processamento assincrono, fila Redis/Asynq, Fiber, yt-dlp e notificacoes em tempo real via SSE.
chatgpt-go-websockets
Chat em tempo real usando WebSockets e API do ChatGPT.
golang-game-with-websockets
Jogo multiplayer em Go usando Ebiten para renderizacao grafica e Fiber/WebSockets para comunicacao entre jogadores.