Lorsque les variables prédictitrices sont fortement corrélées entre elles, les coefficients de l`ajustement des moindres carrés résultants peuvent être très imprécis. En permettant une faible quantité de biais dans les estimations, des coefficients plus raisonnables peuvent souvent être obtenus. La régression de crête est une méthode pour résoudre ces problèmes. Souvent, de petites quantités de biais conduisent à des réductions dramatiques de la variance des coefficients de modèle estimés. Un modèle de régression associe Y {displaystyle Y} à une fonction de X {displaystyle X} et de β {displaystyle beta}. Les interprétations de ces tests diagnostiques reposent fortement sur les hypothèses du modèle. Bien que l`examen des résidus puisse être utilisé pour invalider un modèle, les résultats d`un test t ou d`un test F sont parfois plus difficiles à interpréter si les hypothèses du modèle sont violées. Par exemple, si le terme d`erreur n`a pas une distribution normale, dans de petits échantillons, les paramètres estimés ne suivront pas les distributions normales et compliqueront l`inférence. Cependant, avec des échantillons relativement importants, un théorème de limite centrale peut être invoqué de telle sorte que les tests d`hypothèses puissent se dérouler à l`aide d`approximations asymptotiques. Lorsque la fonction de modèle n`est pas linéaire dans les paramètres, la somme des carrés doit être minimisée par une procédure itérative.

Cela introduit de nombreuses complications qui sont résumées dans différences entre les moindres carrés linéaires et non linéaires. Pour être technique, différents modèles de régression seraient linéaires linéaire, logistique, multinomiale, poisson, gamma, Cox, etc. Toutefois, cela ne couvre pas l`ensemble complet des erreurs de modélisation qui peuvent être faites: en particulier, l`hypothèse d`une forme particulière pour la relation entre Y et X. Une analyse de régression dûment menée comprendra une évaluation de la façon dont la forme présumée est appariée par les données observées, mais elle ne peut le faire que dans la plage de valeurs des variables indépendantes réellement disponibles. Cela signifie que toute extrapolation est particulièrement tributaire des hypothèses formulées au sujet de la forme structurelle de la relation de régression. Les conseils de bonnes pratiques ici [citation nécessaire] est qu`une relation linéaire-en-variables et linéaire-dans-paramètres ne doit pas être choisie simplement pour la commodité de calcul, mais que toutes les connaissances disponibles devraient être déployées dans la construction d`un modèle de régression . Si cette connaissance inclut le fait que la variable dépendante ne peut pas aller à l`extérieur d`une certaine plage de valeurs, cela peut être utilisé dans la sélection du modèle, même si le jeu de données observé n`a pas de valeurs particulièrement près de ces limites. Les implications de cette étape de choisir une forme fonctionnelle appropriée pour la régression peuvent être grandes lorsque l`extrapolation est envisagée. Au minimum, il peut s`assurer que toute extrapolation résultant d`un modèle ajusté est «réaliste» (ou en accord avec ce qui est connu). La plupart des programmes de régression des moindres carrés sont conçus pour s`adapter aux modèles qui sont linéaires dans les coefficients.

Lorsque l`analyste souhaite s`adapter à un modèle intrinsèquement non linéaire, une procédure numérique doit être utilisée. La procédure STATGRAPHICS des moindres carrés non linéaires utilise un algorithme en raison de Marquardt pour s`adapter à toute fonction saisie par l`utilisateur. L`objectif de cette technique de modélisation est de maximiser la puissance de prédiction avec un nombre minimal de variables prédictifs. Il est l`une des méthodes pour gérer la dimensionnalité plus élevée de l`ensemble de données. L`analyse de régression est la «méthode de Go-to dans l`analytique», dit Redman. Et les entreprises intelligentes l`utilisent pour prendre des décisions sur toutes sortes de questions d`affaires. «En tant que gestionnaires, nous voulons comprendre comment nous pouvons influer sur les ventes ou la rétention des employés ou recruter les meilleures personnes. Cela nous aide à comprendre ce que nous pouvons faire. La régression dans Minitab ne prend que quelques clics dans la barre d`outils et est accessible via le menu STAT.