Tools and Libs for Scraping parlamento.pt

So what am I using to scrap the parlamento.pt site? Well, first let me tell you that i’m mostly a Microsoft Developer. I develop web applications with Visual Basic and (less) C# (using Visual Studio) and also MS SQLServer but I’ve also played and did a few projects with PHP and MySQL. Since the Hacklaviva […]

Scraping parlamento.pt

Because scraping is the boring part of exploring data I tried to find the easiest, less time-consuming, yet easy to maintain set of tools to do it. Since the URLs are (somewhat) well known, I was able to skip the crawler, url discovery part of this projects, I just curl(ed) the page that I wanted […]

Portuguese Opendata Projects

One of my “low-intensity” projects is the exploration of portuguese open-data, mostly governmental data. I’ve written some things about it (in portuguese) and also developed some (very few) applications but have never done anything really interesting, mostly because of the lack of time. Fortunately this year I came across a some interesting folks who also share […]

Scrapers, Repositórios e APIs

Um boneco para me ajudar a perceber o que temos feito no Projecto Transparência 1. há um conjunto de sites onde vamos querer ir retirar informação 2. esse processo é feito criando programas que fazem o scrap dessa informação 3. essa informação é gravada em repositórios de desenvolvimento. os repositorios de desenvolvimento seriam aqueles sobre […]

Open Data Hackathon no Hacklaviva

Programa do Open Data Hackathon no Hacklaviva A hackathon começa às 10:30 de sábado dia 4, e nesse dia dura até às 19:00. Há várias opções para almoçar na área. No domingo começaremos mais tarde*, das 14:30 às 18:00. Haverá uma introdução ao Transparência Hackday e ao trabalho que já realizamos, seguido de um brainstorm […]

Agenda Digital 2015

Foi divulgada recentemente a Agenda Digital 2015. É um conjunto de 26 medidas e 70 metas que: “traduz uma aposta determinada na melhoria dos serviços prestados às pessoas e aos agentes económicos com recurso ao potencial das Redes de Nova Geração e no apoio às empresas e aos consórcios empresariais para internacionalizarem e exportarem os […]

food for thought

(arquivar em cartas abertas) acho que era muito fixe fazermos qualquer coisa juntos. aqui vão um conjunto de referências para aquilo que eu tentei dizer na sexta. são notas soltas para aquilo que tenho lido e que me tem interessado. é muita tralha mas se puderes lê tudo para ficares com uma ideia mais precisa […]

Professor Doutor

Continuando a explorar a informação do site do parlamento quisemos ver se a ideia de que na Assembleia da Republica predominam os advogados era real. Assim sendo pegamos na informação disponibilizada por este serviço e criamos uma nova tag cloud usando o wordle. Curiosamente, pelo menos para mim, também temos um grande número de professores […]

O Manel e a Maria

(publicado inicialmente no aventar a 8-ago-2010) Recentemente foram publicadas as estatísticas da actividade dos nossos deputados. Essa é uma informação interessante na medida em que ter uma visão quantitativa do que fazem os nossos representantes é sem dúvida melhor do que não ter nenhuma ideia do que fazem. Claro que, na minha opinião, este tipo […]

hackday sessao 1

A primeira sessão de trabalho do hackday transparencia serviu para partilhar algumas coisas que cada um de nós já tinha feito e perceber de que forma nos podemos integrar nos diferentes projectos possíveis. Neste momento há dois caminhos a ser explorados, ambos a partir da informação disponivel online no site da assembleia da republicar. O […]