Laboratório Pentaho do Windows

Laboratório Pentaho

Pentaho Data Integration é uma ferramenta baseada em cliente, normalmente instalada e configurada para ser executada no Windows 11.

Há várias opções de licenciamento; para estas workshops, vamos instalar uma Edição Enterprise. Isso lhe dará a oportunidade de experimentar a criação de uma solução completa - pipelines de dados automatizados + analytics ..

As etapas a seguir têm como objetivo configurar um ambiente Pentaho Lab e precisam ser concluídas para finalizar as Workshops.

Certifique-se de ter baixado a instalação do Workshop--Installation

cd \\
git clone https://github.com/jporeilly/Workshop--Installation

Docker Desktop

Docker Desktop é um aplicativo para Windows, macOS e Linux que fornece uma interface fácil de usar para desenvolver e executar aplicativos em contêineres. Ele inclui o Docker Engine, o Docker CLI, o Docker Compose, o Kubernetes e outras ferramentas essenciais em um único pacote com interface gráfica.

O Docker Desktop simplifica o gerenciamento de contêineres ao lidar automaticamente com a virtualização subjacente, permitindo que os desenvolvedores criem, testem e implantem aplicativos em contêineres isolados e portáteis sem se preocupar com diferenças na configuração do ambiente. Ele é particularmente popular entre desenvolvedores que desejam garantir que seus aplicativos sejam executados de forma consistente em diferentes ambientes, de máquinas de desenvolvimento locais a servidores de produção.

Docker Desktop: The #1 Containerization Tool for Developers | DockerDocker

Baixe o instalador do Docker Desktop.

Navegue até: Downloads
Clique duas vezes em: Docker Desktop Installer.exe para executar o instalador.

Por padrão, o Docker Desktop é instalado em C:\Program Files\Docker\Docker.

Quando solicitado, certifique-se de que a Usar WSL 2 em vez de Hyper-V opção na página de Configuração esteja selecionada.

Em sistemas que suportam apenas um backend, o Docker Desktop seleciona automaticamente a opção disponível.

Feche para concluir o processo de instalação.

Usuário do Docker

Se sua conta de administrador for diferente da sua conta de usuário, você deve adicionar o usuário ao grupo docker-users:

Execute o Gerenciamento do Computador como administrador.
Navegue até Usuários e Grupos Locais > Grupos > docker-users.
Clique com o botão direito para adicionar o usuário ao grupo.

Saia e entre novamente para que as alterações tenham efeito.

Docker Compose - MySQL

O usuário pentaho_admin tem apenas permissão de LEITURA para o banco de dados Steel Wheels - sampledata. A conta de administrador foi removida.

Como você executará operações de banco de dados CRUD, precisamos implantar um banco de dados sampledata - contêiner Docker, concedendo todos os privilégios a um usuário administrador.

1KB

2KB

882B

Execute o seguinte script para criar uma pasta MySQL e copiar os arquivos necessários.

cd \\
cd C:\Workshop--Installation\MySQL
.\copy-mysql.ps1

Verifique se o diretório foi criado e se os arquivos foram copiados.
Execute o script docker-compose para criar o contêiner.

cd \\
cd C:\MySQL
.\run-docker-mysql.ps1

Verifique se o contêiner está ativo e em execução no Docker Desktop.

Sampledata

O próximo item da lista é criar o banco de dados sampledata.

sampledata_schema.sql

Este script cria uma estrutura abrangente de banco de dados relacional para uma aplicação empresarial de exemplo. Ele foi projetado para modelar um sistema de vendas e gerenciamento de pedidos para uma empresa que vende vários produtos.

Configuração do Banco de Dados

Cria um banco de dados chamado
```
sampledata
```
com conjunto de caracteres UTF-8
Configura usuários com permissões apropriadas
Configura o modo SQL para melhor integridade dos dados

Tabelas

OFFICES: Armazena os locais dos escritórios da empresa com detalhes de endereço

EMPLOYEES: Contém informações dos funcionários com relacionamentos com os escritórios e a estrutura de reporte

CUSTOMERS: Armazena informações dos clientes, incluindo detalhes de contato e limites de crédito

PRODUCTS: Contém o catálogo de produtos com informações de estoque e preços

ORDERS: Acompanha os pedidos dos clientes com status e datas

ORDERDETAILS: Contém os itens de cada pedido com quantidade e preço

PAYMENTS: Registra os pagamentos dos clientes com valores e datas

ORDERFACT: Uma tabela fato para análise de pedidos

CUSTOMER_W_TER: Informações estendidas do cliente com território

DIM_TIME: Tabela de dimensão de tempo para relatórios

DEPARTMENT_MANAGERS: Armazena informações dos gerentes de departamento

QUADRANT_ACTUALS: Contém dados financeiros de orçamento versus realizado com uma coluna VARIANCE gerada

TRIAL_BALANCE: Dados contábeis financeiros

Visões

customer_order_summary: Resume pedidos e gastos por cliente

product_performance: Analisa métricas de vendas de produtos, incluindo receita e lucro

employee_sales_performance: Acompanha o desempenho de vendas por funcionário

monthly_sales_trend: Mostra tendências de vendas ao longo do tempo por mês

product_inventory_status: Categoriza os produtos por níveis de estoque

customer_payment_history: Resume a atividade de pagamento e os saldos dos clientes

Procedimentos Armazenados

GetCustomerOrders: Recupera os pedidos de um cliente específico

UpdateProductStock: Atualiza os níveis de estoque do produto

GetProductSalesByQuarter: Analisa as vendas trimestrais de produtos

GetTopCustomersByRegion: Identifica os principais clientes por região

GetInventoryValueByProductLine: Calcula métricas de estoque por linha de produtos

Triggers

before_order_insert: Valida as restrições de data nos pedidos

before_payment_insert: Garante que os valores de pagamento sejam positivos

Eventos

daily_maintenance: Tarefa agendada para manutenção do banco de dados

Execute o seguinte comando para criar o schema.

cd \\
cd MySQL
Get-Content sampledata_schema.sql | docker exec -i mysql-database-1 mysql -u root -p"password" sampledata

Este comando está importando dados de schema SQL para um banco de dados MySQL em execução em um contêiner Docker. Veja o detalhamento:

Este comando lê o arquivo SQL:

Get-Content sampledata_schema.sql

Direciona (encaminha) o conteúdo do arquivo para o próximo comando:

Isso executa um comando em um contêiner Docker em execução:

docker exec -i mysql-database-1 mysql -u root -p"password" sampledata

Você pode verificar o banco de dados e as tabelas sampledata com os comandos a seguir.

Mostrar bancos de dados:

docker exec -i mysql-database-1 mysql -u root -p"password" -e "SHOW DATABASES;"

Mostrar tabelas:

docker exec -i mysql-database-1 mysql -u root -p"password" sampledata -e "SHOW TABLES;"

Mostrar colunas da tabela:

docker exec -i mysql-database-1 mysql -u root -p"password" sampledata -e "DESCRIBE table_name;"

sampledata_data.sql

Este script preenche o banco de dados com dados de exemplo para demonstrar a funcionalidade do schema.

Dados de Referência

Locais dos escritórios em diferentes regiões
Hierarquia de funcionários com cargos
Catálogo de produtos organizado por linhas de produtos

Dados Transacionais

Registros de clientes com informações de contato
Histórico de pedidos com datas e status
Detalhes dos pedidos com quantidades e preços
Registros de pagamento

Dados Financeiros

Valores de orçamento versus realizado em QUADRANT_ACTUALS
Dados contábeis do balancete

Características dos Dados

Cenários empresariais realistas com status de pedido variados
Catálogo de produtos abrangente com descrições e preços
Estrutura hierárquica de funcionários com relacionamentos de reporte
Dados baseados em tempo abrangendo vários anos para análise de tendências
Dados financeiros adequados para orçamento e análise de variação

Recursos Notáveis

Os dados seguem restrições de integridade referencial
Tratamento adequado de valores NULL quando apropriado
Valores realistas de preços e quantidades
Colunas geradas (como VARIANCE) são excluídas de inserções diretas
Os pedidos são sequenciados para atender às restrições de chave estrangeira

Execute o seguinte comando para carregar os dados nas tabelas sampledata.

cd \\
cd MySQL
Get-Content sampledata_data.sql | docker exec -i mysql-database-1 mysql -u root -p"password" sampledata

Você pode usar os seguintes comandos para verificar se os dados foram carregados.

Para contar o número de linhas em uma tabela específica:

docker exec -i mysql-database-1 mysql -u root -p"password" sampledata -e "SELECT COUNT(*) FROM table_name;"

Para ver as primeiras linhas de uma tabela:

docker exec -i mysql-database-1 mysql -u root -p"password" sampledata -e "SELECT * FROM table_name LIMIT 10;"

Para verificar a contagem de todas as tabelas:

docker exec -i mysql-database-1 mysql -u root -p"password" sampledata -e "SELECT TABLE_NAME, TABLE_ROWS FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA = 'sampledata';"

Para obter um resumo das tabelas e seus status:

docker exec -i mysql-database-1 mysql -u root -p"password" sampledata -e "SHOW TABLE STATUS;"

DBeaver

Você vai precisar de uma ferramenta de gerenciamento de banco de dados. O DBeaver Community é uma ferramenta gratuita e de código aberto para gerenciamento de bancos de dados para projetos pessoais.

Acesse a página oficial de download do DBeaver

https://dbeaver.io/files/dbeaver-ce-latest-x86_64-setup.exedbeaver.io

Navegue até Downloads e clique duas vezes em: dbeaver-ce-25.2.5-x86_64-setup.exe
Siga as instruções de instalação.
Siga as instruções na tela, clicando em "Next" e concordando com o contrato de licença para prosseguir.
Escolha as opções de instalação desejadas (por exemplo, para todos os usuários ou para o usuário atual).

Conclua o processo de instalação.

Banco de Dados MySQL

Se você concluiu os 3 requisitos anteriores, então você deve ter um contêiner Docker MySQL, exposto na porta 3306 com o banco de dados sampledata.

Abra o DBeaver e selecione: MySQL.

Configure a conexão com as seguintes propriedades:

Nome de usuário: root ou pentaho_user

Senha: password

Talvez você precise baixar a versão compatível do driver do banco de dados.

Além disso, habilite: allowPublicKeyRetrieval

Teste a conexão.

Expanda: databases > sampledata > Tables

Abra uma janela SQL e execute uma consulta de teste.

select * from CUSTOMERS
where COUNTRY = 'USA' and CITY = 'NYC';

AnteriorLaboratório Pentaho do Ubuntu PróximoContêineres do Pentaho

Atualizado há 24 dias

Isto foi útil?