\documentclass[a4paper, oneside, 10pt]{article}
\usepackage[english]{babel}
\usepackage[unicode]{hyperref}
\usepackage[utf8x]{inputenc}
\usepackage{listings}
\usepackage{graphicx}
\graphicspath{{media/}}
\date{\today}
\title{}
\author{}
\begin{document}


\begin{itemize}
  \item \href{http://ecor.ib.usp.br/doku.php?id=02_tutoriais:tutorial4:start}{Tutorial}
  \item \href{http://ecor.ib.usp.br/doku.php?id=01_curso_atual:exercicios4}{ Exercícios}
  \item \href{http://ecor.ib.usp.br/doku.php?id=03_apostila:05-exploratoria}{ Apostila} 
\end{itemize}


\section{\texorpdfstring{4. Tutoriais de Análise Exploratória de Dados}{4 Tutoriais de Analise Exploratoria de Dados}}
\label{sec:4_tutoriais_de_analise_exploratoria_de_dados}


Antes de iniciar uma análise propriamente dita, precisamos conhecer os dados e avaliar problemas com relação às etapas anteriores da pesquisa (coleta, processamento, estruturação e digitação dos dados brutos). As variáveis coletadas são aleatórias, ou seja, há diferentes fontes de variabilidade associadas a elas. Precisamos avaliar essa variabilidade e suas relações com as outras variáveis para poder tomar decisões embasadas sobre as análises que pretendemos realizar.

Dentre os principais \textbf{objetivos} de uma Análise Exploratória de Dados (AED) podemos listar os seguintes:
\begin{itemize}
  \item Detectar erros nos dados;
  \item Detectar valores extremos (\emph{outliers});
  \item Compreender a estrutura dos dados coletados;
  \item Indicar a melhor distribuição para modelar a variabilidade nos dados;
  \item Avaliar preliminarmente se os dados apresentam dependência/autocorrelação (espacial ou temporal);  
  \item Avaliar se variáveis preditoras apresentam colinearidade;
\end{itemize}


Não é objetivo deste tutorial passar por todos esses tópicos e sim, apresentar algumas técnicas da linguagem R para auxiliá-lo a iniciar as análises exploratória dos dados. Essas técnicas passam por duas instrumentações básicas: análise numérica com estatísticas descritivas e análises gráficas, explorando a variabilidade das variáveis e sua relação com outras variáveis.

\subsection{\texorpdfstring{Conferindo Data Frames}{Conferindo Data Frames}}
\label{sec:conferindo_data_frames}


Após a leitura dos dados no R é uma boa prática verificá-lo cuidadosamente e investigar as variáveis em busca de erros e incoerências. Nesse tutorial iremos explorar algumas das ferramentas básicas para explorar dados de variáveis.

\href{http://phdcomics.com/comics/archive.php?comicid=1612}{\centering\includegraphics[keepaspectratio=true,width=0.8\textwidth]{02_tutoriais/tutorial4/phd01}
}

Nesta sessão apresentamos duas situações bem comuns: variáveis de fatores com códigos errados e valores \texttt{NA} incorretos.

Vamos usar uma planilha com dados fictícios de um estudo de \href{http://ecor.ib.usp.br/doku.php?id=dados:dados-aves}{aves no cerrado}. Baixe o arquivo do link no seu diretório de trabalho.

Vamos ler o arquivo de texto contendo os dados com o \texttt{read.table}. Note que o padrão desse arquivo \texttt{csv} é o padrão da exportação do excel configurado em português.\lstset{frame=single, language=rsplus}
\begin{lstlisting}

aves <- read.table("aves_cerrado.csv", row.names = 1, header = TRUE, sep = ";", dec = ",", as.is = TRUE)
\end{lstlisting}



Logo após a leitura, garanta que os dados foram lidos corretamente, verificando a estrutura e outros atributos:

Verificação inicial do \emph{ data frame}\lstset{frame=single, language=rsplus}
\begin{lstlisting}

str(aves)
head(aves)
tail(aves)

\end{lstlisting}



Com isso já temos um diagnóstico de um possível problema: os \texttt{NA}s são de fato observações faltantes?
Verificando as informações coletadas em campo descobrimos que esses campos são observações em que não houve avistamento da ave. Portanto, o valor correto é zero \footnote{o problema inverso é comum e mais difícil de diagnosticar: colocar zero onde a observação não estava disponível!}.

\subsubsection{\texorpdfstring{Manipulando NA}{Manipulando NA}}
\label{sec:manipulando_na}


Vamos indexar para verificar onde estão esses \texttt{NA}s, usando a lógica básica de extração de registros em uma variável, no caso para \texttt{urubu}: \lstset{frame=single, language=rsplus}
\begin{lstlisting}

aves$urubu
aves$urubu == NA
\end{lstlisting}



O teste lógico para \texttt{NA}s não funciona pois ele é uma palavra reservada e sua operação retorna \texttt{NA}. Para o teste lógico específico de \texttt{NA} usamos a função \texttt{is.na}, da seguinte forma:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

is.na(aves$urubu)
which(is.na(aves$urubu))
\end{lstlisting}



O \texttt{is.na} retorna um vetor lógico que podemos usar para indexar o data frame ou apenas uma das suas variáveis:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

aves[is.na(aves$urubu), ]
aves$fisionomia[is.na(aves$urubu)]
\end{lstlisting}



É possível também operar vários vetores lógicos para retornar os \texttt{NA}s em mais de uma variável:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

is.na(aves$urubu) | is.na(aves$carcara)
\end{lstlisting}



Acima o teste lógico com \texttt{|} entre vetores lógicos, opera nas posições utilizando a regra de equivalência, retornando \texttt{TRUE} se pelo menos um dos vetores tiver, na mesma posição, o valor \texttt{TRUE}. O teste retornará \texttt{FALSE} apenas se os vetores tiverem, na mesma posição, o valor \texttt{FALSE}. Ao final, o vetor resultante terá \texttt{TRUE} quando \texttt{urubu} for \texttt{NA} ou \texttt{carcara} for \texttt{NA} na posição equivalente. \lstset{frame=single, language=rsplus}
\begin{lstlisting}

aves[is.na(aves$urubu) | is.na(aves$carcara) | is.na(aves$seriema), ]
\end{lstlisting}



Se indexarmos o objeto \texttt{aves} com a operação lógica \texttt{is.na} e \texttt{|} para os três vetores, ele retorna as linhas onde o teste é \texttt{TRUE}, ou seja, onde existe algum \texttt{NA} entre as variáveis \texttt{urubu}, \texttt{caracara} ou \texttt{seriema}.
Vamos guardar esses registros em um objeto, atribuindo o resultado do código acima a um objeto:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

avesNAs <- aves[is.na(aves$urubu) | is.na(aves$carcara) | is.na(aves$seriema), ]
\end{lstlisting}



Agora vamos sobrescrever os \texttt{NA}s com o valor \texttt{0} nas posições associadas aos vetores lógicos produzidos pelo \texttt{is.na}. Para garantir que está sobrescrevendo na posição onde está o erro, faça o processo em duas etapas, primeiro verifique o valor naquela posição antes de alterá-lo.\lstset{frame=single, language=rsplus}
\begin{lstlisting}

aves$urubu[is.na(aves$urubu)]
aves$urubu[is.na(aves$urubu)] <- 0
\end{lstlisting}



Fizemos para a variável \texttt{urubu} e podemos repetir o código para as outras variáveis. Uma maneira mais eficiente é usar o \texttt{is.na} em todo o objeto de uma única vez:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

is.na(aves)
aves[is.na(aves)]
aves[is.na(aves)] <- 0
\end{lstlisting}



Para garantir que fizemos a substituição corretamente, vamos verificar, comparando as linhas que agora têm \texttt{0}\footnote{Lembrando que antes não havia nenhum \texttt{0} nos dados, ou seja, as linhas que agora têm \texttt{0} são as linhas onde, anteriormente, sobrescrevemos algum elemento por \texttt{0}} com o objeto onde guardamos os registros contendo \texttt{NA}s:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

aves[aves$urubu == 0 | aves$carcara == 0 | aves$seriema == 0, ]
avesNAs
\end{lstlisting}



\subsubsection{\texorpdfstring{Conferindo Fatores}{Conferindo Fatores}}
\label{sec:conferindo_fatores}


As variáveis categóricas ou fatores podem ser conferidas com as funções \texttt{table} ou \texttt{unique} que retornam os níveis únicos, no primeiro caso fazendo a contagem e no segundo apenas os nomes únicos. Vamos aplicá-las para a variável \texttt{fisionomia}:  \lstset{frame=single, language=rsplus}
\begin{lstlisting}

unique(aves$fisionomia)
table(aves$fisionomia)
\end{lstlisting}



O nível \texttt{ce} parece ser um erro de digitação já que todas as fisionomias deveriam ter 20 pontos amostrados. Para corrigir usamos a indexação usual de teste lógico:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

aves$fisionomia == "ce"
aves[aves$fisionomia == "ce", ]
aves$fisionomia[aves$fisionomia == "ce"]
aves$fisionomia[aves$fisionomia == "ce"] <- "Ce"
table(aves$fisionomia)
\end{lstlisting}



Vamos agora converter esse vetor de caracteres para fator, ordenando as fisionomias da mais aberta para a mais fechada:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

aves$fisionomia <- factor(aves$fisionomia, levels = c("CL", "CC", "Ce"))
\end{lstlisting}



Sempre é bom verificar novamente para ver se a estruturação e os valores do objeto estão corretos: \lstset{frame=single, language=rsplus}
\begin{lstlisting}

str(aves)
\end{lstlisting}



Agora parece que tudo está correto!

\subsection{\texorpdfstring{Estatística Descritiva}{Estatistica Descritiva}}
\label{sec:estatistica_descritiva}


Vamos usar o mesmo arquivo da sessão anterior para explorar as estatísticas descritivas básicas, começando pela média e pela mediana. Nós já usamos o \texttt{apply} para aplicar uma função a alguma dimensão de um objeto:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

apply(X = aves[ ,2:4], MARGIN = 2, FUN = mean)
apply(aves[ ,c("urubu", "carcara", "seriema")], 2, median)
\end{lstlisting}



O que significaria a média ser muito diferente da mediana? A mediana é pouco sensível aos valores extremos e mais sensível à assimetria da distribuição do que a média. 

Podemos também fazer uma média truncada, usando o argumento \texttt{trim} da função \texttt{mean}. Note que usamos uma outra indexação, com o mesmo resultado das anteriores, e que podemos incluir no \texttt{apply} os argumentos da função que iremos aplicar: \lstset{frame=single, language=rsplus}
\begin{lstlisting}

apply(aves[ , -1], 2, mean, trim = 0.1)
\end{lstlisting}



O \texttt{trim} retira do cálculo da média os valores extremos com o corte definido pelo fator estipulado a partir das observações extremas. Nesse caso, retiramos 10\% dos maiores valores e 10\% dos menores. Como a média é muito sensível a valores extremos, se houver algum valor muito grande ou pequeno em relação ao resto, a média truncada seria bem diferente da média com todos os dados.

Os quantis também são uma forma de verificar se a distribuição dos valores é simétrica. O padrão da função \texttt{quantile} é retornar os quartis, que é a divisão dos dados em seus quartos depois de ordená-los: mínimo, 1/4, 1/2, 3/4 e máximo, sendo que a mediana é o segundo quartil onde os dados são divididos pela metade (menores e maiores). Quando usamos a função \texttt{summary} em um vetor de dados numéricos, esses valores também são apresentados:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

quantile(aves$urubu) 
summary(aves$urubu)
\end{lstlisting}



O argumento \texttt{probs} da função \texttt{quantile} permite retornar o valor de qualquer quantil, vamos separar os dados em 10 quantis, com 10\% dos dados cada um:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

quantile(aves$urubu, probs = seq(from = 0, to = 1, by = 0.1))
\end{lstlisting}



A função \texttt{summary} ajuda a resumir essas estatísticas básicas para todas as variáveis numéricas ao mesmo tempo:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

summary(aves[ ,-1])
\end{lstlisting}



\subsection{\texorpdfstring{Gráficos Univariados}{Graficos Univariados}}
\label{sec:graficos_univariados}


Os gráficos são ferramentas importantes para avaliarmos as variáveis dos nossos dados. No tópico de gráficos vamos estudar mais a fundo as funções associadas a elaboração de gráficos no R, por enquanto vamos apenas aplicar algumas funções básicas sem nos preocuparmos muito com o acabamento dos gráficos. Normalmente a análise exploratória de dados é introspectiva, buscando entender as variáveis e não apresentá-las para alguma audiência.
Vejamos alguns gráficos básicos de diagnóstico de uma variável numérica, usando como exemplo o avistamento de urubus no Cerrado:

\subsubsection{\texorpdfstring{Diagrama de Caixas}{Diagrama de Caixas}}
\label{sec:diagrama_de_caixas}


O diagrama de caixas (boxplot) é a representação gráfica dos quartis que a função \texttt{quantile} retorna.

\centering\includegraphics[keepaspectratio=true,width=0.8\textwidth]{02_tutoriais/tutorial4/boxplot1-700x354}
\lstset{frame=single, language=rsplus}
\begin{lstlisting}

boxplot(aves$urubu)
\end{lstlisting}



\subsubsection{\texorpdfstring{Histograma e Gráfico de Barras}{Histograma e Grafico de Barras}}
\label{sec:histograma_e_grafico_de_barras}


Os histogramas são usados para representar a frequência absoluta (contagem) ou densidade de variáveis contínuas e os gráficos de barras para variáveis categóricas ou discretas. Abaixo construímos as duas formas, mas antes repartimos nossa janela gráfica em quatro porções utilizando a função \texttt{par} que modifica os parâmetros gráficos e mudamos o parâmetro \texttt{mfrow}.\lstset{frame=single, language=rsplus}
\begin{lstlisting}

par(mfrow = c(2, 2))
barplot(table(aves$urubu))
hist(aves$urubu)

\end{lstlisting}



O formato dos gráficos é muito diferente. Isso se deve ao fato do histograma agrupar as observações em intervalos, geralmente regulares. O número de intervalos vai influenciar muito o formato do gráfico, o R usa o algoritmo padrão da função \texttt{nclass}. Vejam o que acontece se utilizarmos o argumento \texttt{breaks} do \texttt{hist}: \lstset{frame=single, language=rsplus}
\begin{lstlisting}

hist(aves$urub, breaks = 25)
\end{lstlisting}



Vamos usar a função \texttt{stripchart} para fazer mais um gráfico dessa variável e retornar o parâmetro \texttt{mfrow} para o seu padrão:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

stripchart(aves$urubu, method="stack")
par(mfrow = c(1, 1))
\end{lstlisting}



No código abaixo incluímos os principais gráficos diagnósticos em uma única janela:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

par(mfrow = c(2, 2))
boxplot(aves$urubu)
hist(aves$urubu)
barplot(table(aves$urubu))
stripchart(aves$urubu, method = "stack")
par(mfrow = c(1, 1))
\end{lstlisting}



\subsubsection{\texorpdfstring{Comparações com distribuições teóricas}{Comparaoes com distribuioes teoricas}}
\label{sec:comparaoes_com_distribuioes_teoricas}


Vamos agora retornar aos dados reais de \href{http://ecor.ib.usp.br/doku.php?id=dados:dados-caixeta}{caixetais} para explorar a variável numérica contínua \texttt{cap} das árvores:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

caixeta <- read.table(file = "caixeta.csv", sep = ",", header = TRUE) #certifique-se que o arquivo esta em seu diretório de trabalho
summary(caixeta$cap)
par(mfrow = c(1, 2))
hist(caixeta$cap)
boxplot(caixeta$cap)
par(mfrow = c(1, 1))
\end{lstlisting}



Essa distribuição de valores não parece nada com uma distribuição normal. Parece muito assimétrica com os dados concentrados nos valores menores. Além disso, tem uma longa cauda para os valores maiores. Várias características desses dados levam a uma distribuição como essa, as principais são:
\begin{itemize}
  \item o \texttt{cap} mínimo de inclusão foi 20 mm, ou seja não há como ter valores menores. Mesmo que pudesse, os valores estariam restritos a valores positivos e seria truncado no zero;
  \item a estrutura de tamanho de populações estáveis de plantas tem a tendência a ter uma distribuição como essa de \texttt{J} invertido, devido às variações nas taxas vitais (crescimento, sobrevivência e reprodução) ao longo da sua ontogênese.
\end{itemize}


Uma forma de avaliar o acoplamento de um variável a uma distribuição normal é através dos gráficos \texttt{qqnorm} e da relação \texttt{qqline} que compara a distribuição dos valores dos quantis (pontos) da variável com os quantis de uma distribuição normal teórica (linha):\lstset{frame=single, language=rsplus}
\begin{lstlisting}

qqnorm(caixeta$cap)
qqline(caixeta$cap)
\end{lstlisting}



Uma outra forma de fazer essa comparação é com o histograma de densidade, com o argumento \texttt{freq = FALSE} e utilizar a função \texttt{curve} que produz a curva da distribuição teórica:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

hist(caixeta$cap, freq = FALSE)
curve(dnorm(x, mean = mean(caixeta$cap), sd = sd(caixeta$cap)), add = TRUE)
\end{lstlisting}



Para resolver o problema de distribuição de valores assimétricos e positivos é muito comum utilizar a transformação \texttt{log}, vamos explorar essa transformação:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

par(mfrow = c(1, 2))
hist(caixeta$cap, freq = FALSE)
curve(dnorm(x, mean = mean(caixeta$cap), sd = sd(caixeta$cap)), add = TRUE)
hist(log(caixeta$cap), freq = FALSE)
curve(dnorm(x, mean = mean(log(caixeta$cap)), sd = sd(log(caixeta$cap))), add = TRUE)
par(mfrow = c(1, 1))
\end{lstlisting}



Parece que a transformação logarítmica ajudou no acoplamento da variável à distribuição normal. 

\href{https://mathwithbaddrawings.com/2018/08/15/the-bubble-under-the-mathematical-rug/}{\centering\includegraphics[keepaspectratio=true,width=0.8\textwidth]{02_tutoriais/tutorial4/normal}
}



\subsection{\texorpdfstring{Análise exploratória Bivariada}{Analise exploratoria Bivariada}}
\label{sec:analise_exploratoria_bivariada}


A relação entre duas ou mais variáveis categóricas pode ser explorada com tabelas cruzadas, por exemplo:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

table(caixeta$especie,caixeta$local)
\end{lstlisting}



Quando temos uma variável categórica (fator) e uma numérica, as funções \texttt{aggregate} e \texttt{tapply} são muito úteis. 

A função \texttt{aggregate} é o equivalente das tabelas dinâmicas das planilhas eletrônicas: ela aplica uma função a partes dos dados separadamente. Por exemplo, para obter um \emph{data frame} com a altura média dos fustes de cada espécie de árvore por local você executa o comando:\lstset{frame=single, language=rsplus}
\begin{lstlisting}


caixetaH <- aggregate(caixeta$h, by = list(local = caixeta$local, especie = caixeta$especie), FUN=mean)

\end{lstlisting}



A função \texttt{aggregate} recebe uma ou mais variáveis contínuas e aplica a ela(s) a função que é recebida no argumento \texttt{FUN} agrupadas pelas variáveis que foram colocadas no argumento \texttt{by} organizadas em uma lista. Veja a estrutura do objeto resultante:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

str(caixetaH) 
\end{lstlisting}



A função \texttt{tapply} faz a mesma operação, mas organiza a objeto resultante em uma \texttt{matrix}, veja como ficam organizadas as médias de altura nesse caso:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

caixAlt <- tapply(caixeta$h, INDEX = list(caixeta$especie,especie=caixeta$local), FUN = mean) 
str(caixAlt)
class(caixAlt)
\end{lstlisting}

\lstset{frame=single, language=rsplus}
\begin{lstlisting}

dim(caixetaH)
dim(caixAlt)
\end{lstlisting}



Os dados originais continha 1027 observações, agora o \texttt{caixetaH} tem 48, pois compilou os dados de altura em sua média para cada espécie em cada uma das localidades. O objeto \texttt{caixAlt} por sua vez tem 43 linhas e 3 colunas que contém as mesmas médias. Como é possível?  \\
No primeiro caso nós temos 3 variáveis: \texttt{local}, \texttt{especie} e \texttt{x} (média de altura). No \texttt{caixAlt} temos as linhas representando as \texttt{espécies}, as colunas representando as \texttt{localidades} e os valores no interior da \texttt{matrix} como as médias das alturas.

Consulte a ajuda da função \texttt{aggregate} e experimente outras combinações de fatores e funções, com este conjunto de dados.

\subsection{\texorpdfstring{Gráficos Bivariados}{Graficos Bivariados}}
\label{sec:graficos_bivariados}


O gráfico de dispersão nos permite avaliar a relação entre duas variáveis numéricas:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

plot(x = caixeta$cap, caixeta$h)
\end{lstlisting}



A função \texttt{pairs} auxilia na avaliação da relação entre múltiplos pares de variáveis, em um painel:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

str(aves)
pairs(aves[ , c("urubu", "carcara", "seriema")])
\end{lstlisting}



A notação de fórmula estatística do R, usa o símbolo \texttt{\textasciitilde{}} para indicar a relação entre duas variáveis. \lstset{frame=single, language=rsplus}
\begin{lstlisting}

fun(y ~ x, data = dados)
\end{lstlisting}


\begin{itemize}
  \item \texttt{fun} = função aplicada no objeto \texttt{dados}
  \item  \texttt{y} = variável resposta
  \item  \texttt{x} = variável preditora
  \item \texttt{dados} = um data frame contendo os vetores x e y
\end{itemize}


Esta notação foi criada para os modelos estatísticos, como a regressão linear, mas foi estendida para várias funções gráficas no R onde as relações entre as variáveis pode ser representada. Essa notação facilita muito a produção de gráficos exploratórios da relação entre variáveis. Os comandos abaixo utilizam esta notação:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

plot(h ~ cap, data = caixeta)
plot(h ~ cap, data = caixeta, subset = local == "jureia")
\end{lstlisting}



A notação em fórmula nos gráficos tornam o código mais sintético e permitem algumas formulações interessantes, por exemplo entre variáveis contínuas e categóricas:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

boxplot(cap ~ local, data = caixeta)
\end{lstlisting}



Esta fórmula pode ainda incluir um fator condicionante, que aplica a relação proposta dentro de cada nível dos condicionais:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

fun(y ~ x | z, data = dados)
\end{lstlisting}


\begin{itemize}
  \item \texttt{z} = variável condicionantes
\end{itemize}


O pacote \texttt{lattice} implementa esta ideia para gráficos:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

library(lattice)
xyplot(h ~ cap | local, data = caixeta)
\end{lstlisting}



\subsection{\texorpdfstring{O quarteto de Anscombe}{O quarteto de Anscombe}}
\label{sec:o_quarteto_de_anscombe}


O pacote \texttt{datasets} tem vários conjuntos de dados que se tornaram clássicos da estatística. Vamos analisar um dos mais usados para treino de análises exploratórias. Como o R já carrega o \texttt{datasets} por padrão, podemos utilizar os dados diretamente \footnote{a função \texttt{data} carrega os dados do pacote no nosso \texttt{workspace}, mas isto não é necessário já que ele está disponível na sessão a partir do \texttt{environment} \texttt{datasets}}:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

str(anscombe)

\end{lstlisting}



Este objeto é composto de 4 pares de variáveis, nomeadas \texttt{x1} a \texttt{x4} (variáveis independentes ou preditoras) e \texttt{y1} a \texttt{y4} (variáveis dependentes ou resposta):\lstset{frame=single, language=rsplus}
\begin{lstlisting}

names(anscombe)
\end{lstlisting}



Compare as médias de cada uma das variáveis. Para isto, use a função \texttt{apply} para aplicar a função \texttt{mean} a cada coluna\footnote{argumento \texttt{MARGIN=2}} deste data frame:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

apply(anscombe[1:4], MARGIN = 2, FUN = mean)
apply(anscombe[5:8], 2, mean)
\end{lstlisting}



Faça o mesmo para obter as variâncias:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

apply(anscombe[1:4], 2, var)
apply(anscombe[5:8], 2, var)
\end{lstlisting}



A pergunta principal para este conjunto de dados é se há relação entre cada variável \texttt{x} e \texttt{y}. Isso pode ser avaliado com o \href{http://en.wikipedia.org/wiki/Pearson_product-moment_correlation_coefficient}{coeficiente de correlação de Pearson}, que vai de zero (nenhuma correlação) a um (positivo ou negativo, correlação perfeita).\lstset{frame=single, language=rsplus}
\begin{lstlisting}

cor(anscombe$x1, anscombe$y1)
\end{lstlisting}



O código acima pode ser aplicado através da função \texttt{with} que simplifica a digitação das variáveis assim como o argumento \texttt{data} na função \texttt{plot}:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

with(anscombe, cor(x1, y1))
with(anscombe, cor(x2, y2))
with(anscombe, cor(x3, y3))
with(anscombe, cor(x4, y4))
\end{lstlisting}



Uma outra forma de avaliar a relação é através dos coeficientes da reta de um modelo linear entre as duas variáveis. Essa relação é obtida pela função \texttt{coef} aplicada ao um objeto de modelo linear \footnote{isso será alvo das aulas de modelo linear}. Vamos avaliar esse coeficientes para os quatro conjuntos de variáveis:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

(coef1 <- coef(lm(y1 ~ x1, data = anscombe)))
(coef2 <- coef(lm(y2 ~ x2, data = anscombe)))
(coef3 <- coef(lm(y3 ~ x3, data = anscombe)))
(coef4 <- coef(lm(y4 ~ x4, data = anscombe)))
\end{lstlisting}



Perceba que todos os coeficientes estão muito próximos a \texttt{3.00} e \texttt{0.50}.
Vamos fazer os gráficos de dispersão entre as variáveis \texttt{x} e \texttt{y} para os quatro casos e vamos incluir a relação linear para cada par com a função \texttt{abline} que grafa essa relação. Nossa única inclusão no \texttt{plot} foram os argumentos \texttt{xlim} e \texttt{ylim} para que todos os gráficos tenham as mesmas escalas nos eixos \footnote{veja a documentação do \texttt{plot}}:\lstset{frame=single, language=rsplus}
\begin{lstlisting}

par(mfrow = c(2, 2)) # 4 graficos em uma janela
plot(y1 ~ x1, data = anscombe,
     xlim = range(anscombe[,1:4]), ylim = range(anscombe[,5:8]))
abline(coef1)
plot(y2 ~ x2, data = anscombe,
     xlim = range(anscombe[,1:4]), ylim = range(anscombe[,5:8]))
abline(coef2)
plot(y3 ~ x3, data = anscombe,
     xlim = range(anscombe[,1:4]), ylim = range(anscombe[,5:8]))
abline(coef3)
plot(y4 ~ x4, data = anscombe,
     xlim = range(anscombe[,1:4]), ylim = range(anscombe[,5:8]))
abline(coef4)
par(mfrow=c(1,1))
\end{lstlisting}



Este conjunto de dados foi criado pelo estatístico Frank Anscombe para demonstrar a importância da análise visual de dados (veja mais detalhes \href{http://en.wikipedia.org/wiki/Anscombe's_quartet}{aqui}). Em nossas análises exploratórias não gráficas, vimos que as médias, desvios, correlações e coeficientes de reta são praticamente idênticos, o que indicaria que os dados são similares. Note como são diferentes, apesar das estatísticas similares: o primeiro é uma relação que parece estar adequada às premissas dos modelos lineares, o segundo mostra uma clara relação não linear entre as variáveis, já o terceiro tem um dado influente que promove uma inclinação que não acompanha o conjunto dos dados e,  além da mudança da relação causa uma heterogeneidade na variância. Por fim, o quarto abriga um ponto muito influente e com alta alavancagem que define a relação entre as variáveis e, caso seja retirado da amostra, as variáveis \texttt{y4} em função de \texttt{x4} não apresentam nenhuma relação! 

\subsection{\texorpdfstring{Leia mais sobre análise exploratória de dados}{Leia mais sobre analise exploratoria de dados}}
\label{sec:leia_mais_sobre_analise_exploratoria_de_dados}


Artigo com um protocolo de análise exploratória de dados:
\begin{itemize}
  \item\url{http://onlinelibrary.wiley.com/doi/10.1111/j.2041-210X.2009.00001.x/pdf}
\end{itemize}


Capítulo do livro ,,Analysing Ecological Data" sobre análise exploratória de dados:
\begin{itemize}
  \item\href{media/02_tutoriais/tutorial4/zuur_cap_4_exploration_statistics.pdf}{zuur\_cap\_4\_exploration\_statistics.pdf}
\end{itemize}


\end{document}
