INSEAD Library

Includes bibliographical references and index

Digitized

Statistics with Stata Preface 1 ......................................................... ix StataandStataResources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 A Typographical Note . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 An Example Stata Session . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2 Stata's Documentation and Help Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7 Searching for Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 . Stata Corporation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 . Statalist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 TheStataJournal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 Books Using Stata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11 DataManagement ............................................ 12 Example Commands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Creating a New Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15 Specifying Subsets of the Data: i n and i f Qualifiers . . . . . . . . . . . . . . . . . . 19 Generating and Replacing Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23 UsingFunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 . Converting between Numeric and String Formats . . . . . . . . . . . . . . . . . . . . . . . . . 32 Creating New Categorical and Ordinal Variables . . . . . . . . . . . . . . . . . . . . . . . . . 35 38 Using Explicit Subscripts with Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Importing Data from Other Programs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 Combining Two or More Stata Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42 Transposing. Reshaping. or Collapsing Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 Weighting Observations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 Creating Random Data and Random Samples . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 Writing Programs for Data Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .60 ManagingMemory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 Graphs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 Example Commands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 Histograms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 Scatterplots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 Lineplots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 . . Connected-Line Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 OtherTwowayPlotTypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 BoxPlots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 Piecharts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 Barcharts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 L 2 DotPlots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 . Symmetry and Quantile Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 Quality Control Graphs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 Adding Text to Graphs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .109 Overlaying Multiple Twoway Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 Graphing with Do-Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 Retrieving and Combining Graphs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 4 Summary Statistics and Tables ................................ 120 ExampleCommands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .120 Summary Statistics for Measurement Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 121 Exploratory Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .124 Normality Tests and Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 Frequency Tables and Two-way Cross-Tabulations . . . . . . . . . . . . . . . . . . . . . . 130 Multiple Tables and Multi-Way Cross-Tabulations . . . . . . . . . . . . . . . . . . . . . . . 133 Tables of Means. Medians. and Other Summary Statistics . . . . . . . . . . . . . . . . . 136 Using Frequency Weights . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 k 5 ANOVA and Other Comparison Methods ........................ 141 ExampleCornmands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 One-Sample Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .143 Two-Sample Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .146 One-way Analysis of Variance (ANOVA) . . . . . . . . . . . . . . . . . . . . . . . . . . . . .149 Two- and N-Way Analysis of Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 Analysis of Covariance (ANCOVA) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .153 Predicted Values and Error-Bar Charts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 Linear Regression Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 ExampleCornmands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 The Regression Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 Multiple Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .164 Predicted Values and Residuals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 Basic Graphs for Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .168 Correlations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 Hypothesis Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .175 Dummy Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .176 Automatic Categorical-Variable Indicators and Interactions . . . . . . . . . . . . . . . . 183 Stepwise Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .186 Polynomial Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188 PanelData . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .191 6 7 Regression Diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I 96 ExampleCommands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .196 SAT Score Regression. Revisited . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .198 DiagnosticPlots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200 Diagnostic Case Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .205 Multicollinearity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210 8 Fittingcurves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 ExampleComrnands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .215 Band Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .217 Lowess Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .219 Regression with Transformed Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . .223 1 Regression with Transformed Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 2 Conditional Effect Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .230 Nonlinear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 232 Nonlinear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .235 2 Robust R e g k s i o n .......................................... 239 ExampleComrnands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .240 Regression with Ideal Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .240 YOutliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 X Outliers (Leverage) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .246 Asymmetrical Error Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .248 Robust Analysis of Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .249 Further r r e g and q r e g Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .255 Robust Estimates of Variance -- 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .256 Robust Estimates of Variance 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .258 . 9 10 Logistic Regression ......................................... 262 ExampleCornmands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .263 . Space Shuttle Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265 Using Logistic Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .270 Conditional Effect Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .273 Diagnostic Statistics and Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .274 Logistic Regression with Ordered-Category y . . . . . . . . . . . . . . . . . . . . . . . . . . . 278 Multinomial Logistic Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .280 11 Survival and Event-Count Models .............................. 288 ExampleCommands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289 Survival-Time Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291 Count-Time Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .293 Kaplan-Meier Survivor Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .295 Cox Proportional Hazard Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .299 Exponential and Weibull Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .305 Poisson Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .309 Generalized Linear Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .313 12 Principal Components. Factor. and Cluster Analysis .............. 318 ExampleCommands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .319 Principal Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320 Rotation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .322 Factorscores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .323 Principal Factoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .326 Maximum-Likelihood Factoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 ClusterAnalysis-1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .329 Cluster Analysis -2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333 13 Time Series Analysis ........................................ 339 ExampleCommands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339 Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341 Further Time Plot Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346 Lags. Leads. and Differences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349 Correlograms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .351 ARIMA Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .354 14 Introduction to Programming .................................. 361 Basic Concepts and Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361 Example Program: Moving Autocorrelation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369 Ado-File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373 HelpFile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .375 MatrixAlgebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378 Bootstrapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .382 Monte Carlo Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .387 5 References Index ................................................... 395 401 ........................................................