Certificação

Fala pessoal, belezinha? A ideia aqui é indexar os posts relacionados aos estudos para a certificação de Data Engineer Professional, da Google. Vamos a algumas observações: Não esperem nada muito detalhado aqui. Para isso, **RTFM** (tá aí uma ideia de adesivo para fazer e colocar no laptop). **Não me perguntem sobre atalhos ou dumps**. Quem me conhece, sabe a minha opinião a respeito. Façam suas mutretas para isso e se virem, beleza? Ainda estou pensando no melhor formato. Fazer como fiz no Obsidian, criando um mapa mental, ou manter uma lista e linkar o que for necessário no github. Nesse primeiro momento, vou no mais fácil. A lista. Mas sim, isso pode (e deve) mudar a qualquer momento. Eu pretendo deixar essa página bem concisa. Só com os links. Espero que dê certo. Em cada um dos posts, eu **pretendo** colocar os links de referências. Preparação Fundamentos IAM Storage Database Produtos Cloud SQL Cloud Spanner Firestore BigTable Dataflow BigQuery Dataproc Composer Data Fusion Cloud Data Loss Prevention Data Catalog Machine Learning ….

E hoje, primeiro de maio, dia do trabalho (ou do trabalhador?), madrugada de sábado para domingo, eu resolvi finalmente fazer a prova de Fundamentals de Airflow, aplicado pela Astronomer. Já faz algum tempo que eu tenho usado/praticado a ferramenta e vou dizer que foi o Airflow que me fez aumentar o meu interesse por Python cada vez mais. Acho que das ferramentas de orquestração, depois do Data Factory, foi a ferramenta que eu mais me envolvi. ...

2018 começou com tudo! Em setembro do ano passado, divulgaram que a Microsoft estava com vouchers para a realização das provas de Power BI (e outros produtos), ainda em versão Beta. As provas Beta, são provas que ainda estão passando por uma avaliação da Microsoft no que tange a qualidade das questões (descrições, opções, métodos de escolha, etc), mas que é a base para a prova oficial, quando ela for lançada para o público geral. Quando eles divulgam as provas, apenas 300 vagas são disponibilizadas **no mundo todo **(essa parte é muito importante frisar, heheeh) e quem conseguir reservar primeiro, será beneficiado. No final da prova, você precisa deixar os teus comentários sobre as questões, para que eles possam fazer a triagem e ver o que precisa ser refeito. Dizem que o processo todo pode levar até 8 semanas, até que se tenha o resultado da prova. Todo o processo é bem explicado nesse post, sugiro a leitura para maiores informações: https://borntolearn.mslearn.net/b/weblog/posts/the-path-from-beta-exam-to-live-exam Enfim, a minha prova foi no dia 15/09 (70-778: Analyzing and Visualizing Data with Power BI (beta)) e devo confessar que saí de lá com esperança de ter passado, mas não com “aquela” convicção. A prova em si, foi uma prova como as outras (eu estava esperando uma prova bem diferente, não sei pq)… Mas ela estava bem detalhada em alguns pontos e mais aberta em outros. Eu curti bastante fazer. E pensar que os comentários feitos nas questões podem ajudar no rumo da prova oficial, me deixou bem animado. O problema todo foram essas 8 semanas, que, pra quem fez a prova comigo, acabou em uma espera de exatos 4 meses!!! Ah, o resultado? **APROVADO!!!! 😀 ** Acho que de todo o processo… A reserva, a prova e toda a espera… O mais legal com esse resultado é pensar que eu sou uma das primeiras 300 pessoas certificadas em Power BI no mundo! Para esse ano, eu quero fazer pelo menos duas provas de SQL 2016 e uma de Azure, vamos ver como as coisas vão se encaminhar. ...

Existem 4 funções de ranqueamento que podem ser utilizados com a cláusula OVER: ROW_NUMBER RANK DENSE_RANK NTILE Um exemplo de uso: SELECT orderid, custid, val, ROW_NUMBER() OVER(ORDER BY val) AS rownum, RANK() OVER(ORDER BY val) AS rank, DENSE_RANK() OVER(ORDER BY val) AS dense_rank, NTILE(10) OVER(ORDER BY val) AS ntile FROM Sales.OrderValues ORDER BY val; O retorno é: orderid custid val rownum rank dense_rank ntile ----------- ----------- --------- ------- ------- ---------- ----- 10782 12 12.50 1 1 1 1 10807 27 18.40 2 2 2 1 10586 66 23.80 3 3 3 1 10767 76 28.00 4 4 4 1 10898 54 30.00 5 5 5 1 10900 88 33.75 6 6 6 1 10883 48 36.00 7 7 7 1 11051 41 36.00 8 7 7 1 10815 71 40.00 9 9 8 1 10674 38 45.00 10 10 9 1 ... 10691 63 10164.80 821 821 786 10 10540 63 10191.70 822 822 787 10 10479 65 10495.60 823 823 788 10 10897 37 10835.24 824 824 789 10 10817 39 10952.85 825 825 790 10 10417 73 11188.40 826 826 791 10 10889 65 11380.00 827 827 792 10 11030 71 12615.05 828 828 793 10 10981 34 15810.00 829 829 794 10 10865 63 16387.50 830 830 795 10 (830 row(s) affected) A função ROW_NUMBER() retorna uma ordenação sequencial para o resultado da consulta, baseado no que foi especificado no ORDER BY da cláusula OVER. Note que eu poderia retornar a ordenação pela coluna custid, modificando apenas a coluna rownum e mantendo a mesma ordem no retorno da consulta. ...

Com a cláusula OVER você faz com que uma janela de registros passe por alguns cálculos. Entenda por janela de registros como sendo uma quantidade de registros no qual o cálculo será realizado. Ao contrário do GROUP BY, onde o retorno é de apenas uma linha para cada agrupamento realizado, com a cláusula OVER você consegue trabalhar no contexto do SELECT, ou seja, para cada registro da sua lista. Desta forma, você não precisa trabalhar com o GROUP BY e ainda tem como retorno o cálculo desejado. ...

Estou estudando para mais uma certificação (70-433 – TS: Microsoft SQL Server 2008, Database Development) e, com o intuito de fixar o conteúdo, vou colocar aqui uma série de posts que eu acho interessante divulgar. Para a prova, estou me baseando nos seguintes livros: Microsoft® SQL Server® 2008 T-SQL Fundamentals Inside Microsoft SQL Server 2008: T-SQL Querying Inside Microsoft SQL Server 2008: T-SQL Programming (Pro-Developer) MCTS Self-Paced Training Kit (Exam 70-433): Microsoft® SQL Server® 2008 – Database Development A minha idéia é conseguir fazer a prova em abril e então, no meio do ano, fazer a 70-451 (PRO: Designing Database Solutions and Data Access Using Microsoft SQL Server 2008), concluindo a trilha de Desenvolvedor. Depois é partir pra parte de BI. ...

 Só pra dizer que acabei de passar na prova 70-431 da Microsoft: “SQL Server 2005 – Implementing and Maintenance” Que baita alívio, estava achando que não passaria nessa prova mas para a minha surpresa, passei com 880 no simulado e 947 na teórica (valendo 1000). Essa é a segunda prova da MS que eu faço (e passo). Há 9 anos atrás eu fiz a de Windows NT Server 4.0. Agora é manter o ritmo, focar no TCC da faculdade e fazer as provas 70-441 e 70-442 (Database Developer), 70-443 e 70-444 (Database Administrator)!! O negócio é não deixar a peteca cair!!! 😀 ...