Die Annäherung experimenteller Daten ist eine Methode, die auf dem Ersetzen experimentell gewonnener Daten durch eine analytische Funktion basiert, die an den Knotenpunkten am ehesten mit den Anfangswerten übereinstimmt oder übereinstimmt (Daten, die während des Experiments oder Experiments erhalten wurden). Derzeit gibt es zwei Möglichkeiten, eine Analysefunktion zu definieren:
Durch Konstruktion eines n-Grad-Interpolationspolynoms, das durchgeht direkt durch alle Punkte gegebenes Array von Daten. In diesem Fall wird die Näherungsfunktion dargestellt als: ein Interpolationspolynom in der Lagrange-Form oder ein Interpolationspolynom in der Newton-Form.
Durch Konstruieren eines n-Grad-Approximationspolynoms, das besteht in der Nähe von Punkten aus dem angegebenen Datenarray. Somit glättet die Approximationsfunktion alle zufälligen Störungen (oder Fehler), die während des Experiments auftreten können: Die Messwerte während des Experiments hängen von Zufallsfaktoren ab, die nach ihren eigenen Zufallsgesetzen schwanken (Mess- oder Instrumentenfehler, Ungenauigkeit oder experimentell Fehler). In diesem Fall wird die Näherungsfunktion nach der Methode der kleinsten Quadrate bestimmt.
Methode der kleinsten Quadrate(in der englischen Literatur Ordinary Least Squares, OLS) ist eine mathematische Methode, die auf der Definition einer Näherungsfunktion basiert, die in der nächsten Nähe zu Punkten aus einem gegebenen Array von experimentellen Daten aufgebaut wird. Die Nähe der Anfangs- und Näherungsfunktion F(x) wird durch ein numerisches Maß bestimmt, nämlich: Die Summe der quadrierten Abweichungen der experimentellen Daten von der Näherungskurve F(x) sollte am kleinsten sein.
Anpassungskurve, die nach der Methode der kleinsten Quadrate erstellt wurde
Es wird die Methode der kleinsten Quadrate verwendet:
Überbestimmte Gleichungssysteme lösen, wenn die Anzahl der Gleichungen die Anzahl der Unbekannten übersteigt;
Lösungssuche bei gewöhnlichen (nicht überbestimmten) nichtlinearen Gleichungssystemen;
Zur Annäherung von Punktwerten durch eine Annäherungsfunktion.
Die Näherungsfunktion nach der Methode der kleinsten Quadrate wird aus der Bedingung der minimalen Summe der quadrierten Abweichungen der berechneten Näherungsfunktion von einer gegebenen Reihe von experimentellen Daten bestimmt. Dieses Kriterium der Methode der kleinsten Quadrate wird als folgender Ausdruck geschrieben:
Werte der berechneten Näherungsfunktion an Knotenpunkten,
Spezifiziertes Array experimenteller Daten an Knotenpunkten .
Das quadratische Kriterium hat eine Reihe "guter" Eigenschaften, wie z. B. Differenzierbarkeit, und bietet eine einzigartige Lösung für das Approximationsproblem mit polynomischen Approximationsfunktionen.
Abhängig von den Bedingungen des Problems ist die Näherungsfunktion ein Polynom vom Grad m
Der Grad der Approximationsfunktion hängt nicht von der Anzahl der Knotenpunkte ab, aber ihre Dimension muss immer kleiner sein als die Dimension (Anzahl der Punkte) des gegebenen Arrays von experimentellen Daten.
∙ Ist der Grad der Approximationsfunktion m=1, dann approximieren wir die Tabellenfunktion mit einer Geraden (lineare Regression).
∙ Ist der Grad der Approximationsfunktion m=2, dann approximieren wir die Tabellenfunktion mit einer quadratischen Parabel (quadratische Approximation).
∙ Wenn der Grad der Approximationsfunktion m=3 ist, dann approximieren wir die Tabellenfunktion mit einer kubischen Parabel (kubische Approximation).
Im allgemeinen Fall, wenn es darum geht, für gegebene Tabellenwerte ein approximatives Polynom vom Grad m zu konstruieren, wird die Bedingung für die minimale Summe der quadratischen Abweichungen über alle Knotenpunkte in folgende Form umgeschrieben:
- unbekannte Koeffizienten des Näherungspolynoms vom Grad m;
Die Anzahl der angegebenen Tabellenwerte.
Eine notwendige Bedingung für die Existenz eines Minimums einer Funktion ist die Nullgleichheit ihrer partiellen Ableitungen nach unbekannten Variablen . Als Ergebnis erhalten wir folgendes Gleichungssystem:
Lassen Sie uns das resultierende lineare Gleichungssystem umwandeln: Öffnen Sie die Klammern und verschieben Sie die freien Terme auf die rechte Seite des Ausdrucks. Als Ergebnis wird das resultierende System linearer algebraischer Ausdrücke in der folgenden Form geschrieben:
Dieses System linearer algebraischer Ausdrücke kann in Matrixform umgeschrieben werden:
Das Ergebnis war ein System lineare Gleichungen Dimension m+1, die aus m+1 Unbekannten besteht. Dieses System kann mit einem beliebigen Verfahren zum Lösen linearer algebraischer Gleichungen (z. B. dem Gauß-Verfahren) gelöst werden. Als Ergebnis der Lösung werden unbekannte Parameter der Näherungsfunktion gefunden, die die minimale Summe der quadratischen Abweichungen der Näherungsfunktion von den ursprünglichen Daten liefern, d. h. die bestmögliche quadratische Näherung. Es sollte daran erinnert werden, dass, wenn sich auch nur ein Wert der Anfangsdaten ändert, alle Koeffizienten ihre Werte ändern, da sie vollständig durch die Anfangsdaten bestimmt werden.
Approximation der Anfangsdaten durch lineare Abhängigkeit
(lineare Regression)
Betrachten Sie als Beispiel das Verfahren zur Bestimmung der Näherungsfunktion, die als lineare Beziehung gegeben ist. Nach der Methode der kleinsten Quadrate wird die Bedingung für die minimale Summe der quadrierten Abweichungen wie folgt geschrieben:
Koordinaten der Knotenpunkte der Tabelle;
Unbekannte Koeffizienten der Näherungsfunktion, die als linearer Zusammenhang gegeben ist.
Eine notwendige Bedingung für die Existenz eines Minimums einer Funktion ist die Nullgleichheit ihrer partiellen Ableitungen nach unbekannten Variablen. Als Ergebnis erhalten wir folgendes Gleichungssystem:
Lassen Sie uns das resultierende lineare Gleichungssystem umformen.
Wir lösen das resultierende lineare Gleichungssystem. Die Koeffizienten der Näherungsfunktion in der analytischen Form werden wie folgt bestimmt (Verfahren nach Cramer):
Diese Koeffizienten liefern die Konstruktion einer linearen Näherungsfunktion gemäß dem Kriterium zur Minimierung der Quadratsumme der Näherungsfunktion aus gegebenen Tabellenwerten (experimentelle Daten).
Algorithmus zur Implementierung der Methode der kleinsten Quadrate
1. Anfangsdaten:
Gegeben sei eine Reihe experimenteller Daten mit der Anzahl der Messungen N
Der Grad des Näherungspolynoms (m) ist angegeben
2. Berechnungsalgorithmus:
2.1. Zur Konstruktion eines Gleichungssystems mit Dimension werden Koeffizienten bestimmt
Koeffizienten des Gleichungssystems (linke Seite der Gleichung)
- Index der Spaltennummer der quadratischen Matrix des Gleichungssystems
Freie Glieder des linearen Gleichungssystems (rechte Seite der Gleichung)
- Index der Zeilennummer der quadratischen Matrix des Gleichungssystems
2.2. Bildung eines linearen Gleichungssystems mit Dimension .
2.3. Lösung eines linearen Gleichungssystems zur Bestimmung der unbekannten Koeffizienten des Näherungspolynoms vom Grad m.
2.4 Bestimmung der Summe der quadrierten Abweichungen des Näherungspolynoms von den Anfangswerten über alle Knotenpunkte
Der gefundene Wert der Summe der quadrierten Abweichungen ist der minimal mögliche.
Approximation mit anderen Funktionen
Es sei darauf hingewiesen, dass bei der Annäherung der Anfangsdaten gemäß der Methode der kleinsten Quadrate manchmal eine logarithmische Funktion, eine Exponentialfunktion und eine Potenzfunktion als Annäherungsfunktion verwendet werden.
Log-Annäherung
Betrachten Sie den Fall, wenn die Näherungsfunktion durch eine logarithmische Funktion der Form gegeben ist:
Beispiel.
Experimentelle Daten zu den Werten von Variablen X Und bei sind in der Tabelle angegeben. 
Durch ihre Ausrichtung wird die Funktion 
Verwenden Methode der kleinsten Quadrate, approximieren diese Daten mit einer linearen Abhängigkeit y=ax+b(Optionen finden A Und B). Finden Sie heraus, welche der beiden Linien besser (im Sinne der Methode der kleinsten Quadrate) die experimentellen Daten ausrichtet. Fertige eine Zeichnung an.
Die Essenz der Methode der kleinsten Quadrate (LSM).
Das Problem besteht darin, die linearen Abhängigkeitskoeffizienten zu finden, für die die Funktion zweier Variablen gilt A Und B 
nimmt den kleinsten Wert an. Das heißt, angesichts der Daten A Und B die Summe der quadrierten Abweichungen der experimentellen Daten von der gefundenen geraden Linie wird am kleinsten sein. Das ist der springende Punkt bei der Methode der kleinsten Quadrate.
Somit reduziert sich die Lösung des Beispiels darauf, das Extremum einer Funktion zweier Variablen zu finden.
Herleitung von Formeln zum Finden von Koeffizienten.
Ein System aus zwei Gleichungen mit zwei Unbekannten wird erstellt und gelöst. Finden partieller Ableitungen einer Funktion in Bezug auf Variablen A Und B, setzen wir diese Ableitungen mit Null gleich. 
Wir lösen das resultierende Gleichungssystem mit einer beliebigen Methode (z Substitutionsmethode oder ) und erhalten Sie Formeln zum Finden von Koeffizienten mit der Methode der kleinsten Quadrate (LSM). 
Mit Daten A Und B Funktion nimmt den kleinsten Wert an. Der Beweis dieser Tatsache ist erbracht.
Das ist die ganze Methode der kleinsten Quadrate. Formel zum Finden des Parameters A enthält die Summen , , , und den Parameter N- Umfang der experimentellen Daten. Es wird empfohlen, die Werte dieser Summen separat zu berechnen. Koeffizient B nach Berechnung gefunden A.
Es ist Zeit, sich an das ursprüngliche Beispiel zu erinnern.
Lösung.
In unserem Beispiel n=5. Wir füllen die Tabelle aus, um die Beträge zu berechnen, die in den Formeln der erforderlichen Koeffizienten enthalten sind. 
Die Werte in der vierten Zeile der Tabelle erhält man, indem man für jede Zahl die Werte der 2. Zeile mit den Werten der 3. Zeile multipliziert ich.
Die Werte in der fünften Zeile der Tabelle erhält man durch Quadrieren der Werte der 2. Zeile für jede Zahl ich.
Die Werte der letzten Spalte der Tabelle sind die Summen der Werte über die Zeilen hinweg.
Wir verwenden die Formeln der Methode der kleinsten Quadrate, um die Koeffizienten zu finden A Und B. Wir ersetzen in ihnen die entsprechenden Werte aus der letzten Spalte der Tabelle: 
Somit, y=0,165x+2,184 die gesuchte Näherungsgerade ist.
Es bleibt herauszufinden, welche der Linien y=0,165x+2,184 oder nähert sich den Originaldaten besser an, d.h. um eine Schätzung nach der Methode der kleinsten Quadrate vorzunehmen.
Abschätzung des Fehlers der Methode der kleinsten Quadrate.
Dazu müssen Sie die Summen der quadrierten Abweichungen der Originaldaten von diesen Linien berechnen 
Und 
, entspricht ein kleinerer Wert einer Linie, die die ursprünglichen Daten im Sinne der Methode der kleinsten Quadrate besser annähert. 
Da , dann die Linie y=0,165x+2,184 nähert sich den Originaldaten besser an.
Grafische Darstellung der Methode der kleinsten Quadrate (LSM).
In den Charts sieht alles super aus. Die rote Linie ist die gefundene Linie y=0,165x+2,184, die blaue Linie ist , die rosa Punkte sind die Originaldaten.
Wozu dient es, wozu all diese Annäherungen?
Ich persönlich verwende, um Datenglättungsprobleme, Interpolations- und Extrapolationsprobleme zu lösen (im ursprünglichen Beispiel könnten Sie aufgefordert werden, den Wert des beobachteten Werts zu finden j bei x=3 oder wann x=6 nach der MNC-Methode). Aber wir werden später in einem anderen Abschnitt der Website mehr darüber sprechen.
Nachweisen.
Also wenn gefunden A Und B Funktion den kleinsten Wert annimmt, ist es notwendig, dass an dieser Stelle die Matrix der quadratischen Form des Differentials zweiter Ordnung für die Funktion war positiv bestimmt. Zeigen wir es.
Das Differential zweiter Ordnung hat die Form: 
Also
Daher hat die Matrix der quadratischen Form die Form 
und die Werte der Elemente hängen nicht davon ab A Und B.
Zeigen wir, dass die Matrix positiv definit ist. Dies erfordert, dass die Nebenwinkel positiv sind.
Eckiges Moll erster Ordnung 
. Die Ungleichung ist streng, da die Punkte nicht zusammenfallen. Dies wird im Folgenden impliziert.
Winkelminor zweiter Ordnung 
Lassen Sie uns das beweisen 
nach der Methode der mathematischen Induktion.
Abschluss: Gefundene Werte A Und B entsprechen dem kleinsten Wert der Funktion sind daher die gewünschten Parameter für die Methode der kleinsten Quadrate.
Nach der Ausrichtung erhalten wir eine Funktion der folgenden Form: g (x) = x + 1 3 + 1 .
Wir können diese Daten mit einer linearen Beziehung y = a x + b annähern, indem wir die entsprechenden Parameter berechnen. Dazu müssen wir die sogenannte Methode der kleinsten Quadrate anwenden. Sie müssen auch eine Zeichnung anfertigen, um zu überprüfen, welche Linie die experimentellen Daten am besten ausrichtet.
Was genau ist OLS (Methode der kleinsten Quadrate)
Die Hauptsache, die wir tun müssen, ist, solche Koeffizienten der linearen Abhängigkeit zu finden, bei denen der Wert der Funktion zweier Variablen F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 sein wird am kleinsten. Mit anderen Worten, für bestimmte Werte von a und b hat die Summe der quadrierten Abweichungen der präsentierten Daten von der resultierenden geraden Linie einen Mindestwert. Dies ist die Bedeutung der Methode der kleinsten Quadrate. Alles, was wir tun müssen, um das Beispiel zu lösen, ist, das Extremum der Funktion zweier Variablen zu finden.
Ableitung von Formeln zur Berechnung von Koeffizienten
Um Formeln zur Berechnung der Koeffizienten abzuleiten, muss ein Gleichungssystem mit zwei Variablen aufgestellt und gelöst werden. Dazu berechnen wir die partiellen Ableitungen des Ausdrucks F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 nach a und b und setzen sie 0 gleich.
δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ ich = 1 n (y ich - (a x ich + b)) x ich = 0 - 2 ∑ ich = 1 n ( y ich - (a x ich + b)) = 0 ⇔ a ∑ ich = 1 n x ich 2 + b ∑ ich = 1 n x ich = ∑ ich = 1 n x ich y ich ein ∑ ich = 1 n x ich + ∑ ich = 1 n b = ∑ ich = 1 n y ich ⇔ ein ∑ ich = 1 n x ich 2 + b ∑ ich = 1 n x ich = ∑ ich = 1 n x ich y ich ein ∑ ich = 1 n x ich + n b = ∑ ich = 1 n y ich
Um ein Gleichungssystem zu lösen, können Sie beliebige Methoden verwenden, wie z. B. die Substitution oder das Cramer-Verfahren. Als Ergebnis sollten wir Formeln erhalten, die die Koeffizienten nach der Methode der kleinsten Quadrate berechnen.
n ∑ ich = 1 n x ich y ich - ∑ ich = 1 n x ich ∑ ich = 1 n y ich n ∑ ich = 1 n - ∑ ich = 1 n x ich 2 b = ∑ ich = 1 n y ich - ein ∑ ich = 1 n x ich n
Wir haben die Werte der Variablen berechnet, für die die Funktion
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 nimmt den Minimalwert an. Im dritten Absatz werden wir beweisen, warum das so ist.
Dies ist die Anwendung der Methode der kleinsten Quadrate in der Praxis. Seine Formel, die verwendet wird, um den Parameter a zu finden, enthält ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 und den Parameter
n - es bezeichnet die Menge der experimentellen Daten. Wir empfehlen Ihnen, jeden Betrag separat zu berechnen. Der Koeffizientenwert b wird unmittelbar nach a berechnet.
Gehen wir zurück zum ursprünglichen Beispiel.
Beispiel 1
Hier haben wir n gleich fünf. Um die Berechnung der in den Koeffizientenformeln enthaltenen erforderlichen Beträge zu vereinfachen, füllen wir die Tabelle aus.
| ich = 1 | ich = 2 | ich = 3 | ich = 4 | ich = 5 | ∑ ich = 1 5 | |
| x ich | 0 | 1 | 2 | 4 | 5 | 12 |
| y ich | 2 , 1 | 2 , 4 | 2 , 6 | 2 , 8 | 3 | 12 , 9 |
| x ich y ich | 0 | 2 , 4 | 5 , 2 | 11 , 2 | 15 | 33 , 8 |
| x ich 2 | 0 | 1 | 4 | 16 | 25 | 46 |
Lösung
Die vierte Zeile enthält die Daten, die durch Multiplizieren der Werte aus der zweiten Zeile mit den Werten der dritten für jedes einzelne i erhalten werden. Die fünfte Zeile enthält die Daten aus dem zweiten Quadrat. Die letzte Spalte zeigt die Summen der Werte der einzelnen Zeilen.
Verwenden wir die Methode der kleinsten Quadrate, um die benötigten Koeffizienten a und b zu berechnen. Ersetzen Sie dazu die gewünschten Werte aus der letzten Spalte und berechnen Sie die Summen:
n ∑ ich = 1 n x ich y ich - ∑ ich = 1 n x ich ∑ ich = 1 n y ich n ∑ ich = 1 n - ∑ ich = 1 n x ich 2 b = ∑ ich = 1 n y ich - ein ∑ ich = 1 n x ich n ⇒ a = 5 33 , 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184
Wir haben festgestellt, dass die gewünschte Näherungsgerade wie folgt aussieht: y = 0, 165 x + 2, 184 . Jetzt müssen wir bestimmen, welche Linie die Daten am besten approximiert - g (x) = x + 1 3 + 1 oder 0 , 165 x + 2 , 184 . Machen wir eine Schätzung mit der Methode der kleinsten Quadrate.
Um den Fehler zu berechnen, müssen wir die Summen der quadrierten Abweichungen der Daten von den Linien σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 und σ 2 = ∑ i = 1 n (y i - g (x i)) 2 , der Minimalwert entspricht einer geeigneteren Linie.
σ 1 = ∑ ich = 1 n (y ich - (a x ich + b ich)) 2 = = ∑ ich = 1 5 (y ich - (0 , 165 x ich + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ ich = 1 n (y ich - g (x ich)) 2 = = ∑ ich = 1 5 (y ich - (x ich + 1 3 + 1)) 2 ≈ 0 , 096
Antworten: seit σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0 , 165 x + 2 , 184 .
Die Methode der kleinsten Quadrate ist in der grafischen Darstellung deutlich dargestellt. Die rote Linie markiert die Gerade g (x) = x + 1 3 + 1, die blaue Linie markiert y = 0, 165 x + 2, 184. Rohdaten sind mit rosa Punkten gekennzeichnet.
Lassen Sie uns erklären, warum genau Näherungen dieser Art benötigt werden.
Sie können bei Problemen verwendet werden, die eine Datenglättung erfordern, sowie bei solchen, bei denen die Daten interpoliert oder extrapoliert werden müssen. Zum Beispiel könnte man in dem oben diskutierten Problem den Wert der beobachteten Größe y bei x = 3 oder bei x = 6 finden. Solchen Beispielen haben wir einen eigenen Artikel gewidmet.
Nachweis der LSM-Methode
Damit die Funktion den Minimalwert annimmt, wenn a und b berechnet werden, ist es notwendig, dass an einem bestimmten Punkt die Matrix der quadratischen Form des Differentials der Funktion der Form F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 positiv definit sein. Lassen Sie uns Ihnen zeigen, wie es aussehen sollte.
Beispiel 2
Wir haben ein Differential zweiter Ordnung der folgenden Form:
d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ ein δ b d ein d b + δ 2 F (a ; b) δ b 2 d 2b
Lösung
δ 2 F (a ; b) δ ein 2 = δ δ F (a ; b) δ ein δ ein = = δ - 2 ∑ ich = 1 n (y ich - (a x ich + b)) x ich δ ein = 2 ∑ ich = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ ich = 1 n (y ich - (a x i + b) ) x ich δ b = 2 ∑ ich = 1 n x ich δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ ich = 1 n (y ich - (a x ich + b)) δ b = 2 ∑ ich = 1 n (1) = 2 n
Mit anderen Worten, es kann wie folgt geschrieben werden: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .
Wir haben eine Matrix quadratischer Form erhalten M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .
In diesem Fall ändern sich die Werte einzelner Elemente nicht in Abhängigkeit von a und b . Ist diese Matrix positiv definit? Um diese Frage zu beantworten, prüfen wir, ob die eckigen Minoren positiv sind.
Berechnen Sie den kleinen Nebenwinkel erster Ordnung: 2 ∑ i = 1 n (x i) 2 > 0 . Da die Punkte x i nicht zusammenfallen, ist die Ungleichung strikt. Wir werden dies bei weiteren Berechnungen berücksichtigen.
Wir berechnen den Winkelminor zweiter Ordnung:
d e t (M) = 2 ∑ ich = 1 n (x ich) 2 2 ∑ ich = 1 n x ich 2 ∑ ich = 1 n x ich 2 n = 4 n ∑ ich = 1 n (x ich) 2 - ∑ ich = 1 n x ich 2
Danach gehen wir zum Beweis der Ungleichung n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 mittels mathematischer Induktion über.
- Prüfen wir, ob diese Ungleichung für beliebige n gilt. Nehmen wir 2 und berechnen:
2 ∑ ich = 1 2 (x ich) 2 - ∑ ich = 1 2 x ich 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0
Wir haben die richtige Gleichheit erhalten (wenn die Werte x 1 und x 2 nicht übereinstimmen).
- Nehmen wir an, dass diese Ungleichung für n gilt, d.h. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – wahr.
- Nun wollen wir die Gültigkeit für n + 1 beweisen, d.h. dass (n + 1) ∑ ich = 1 n + 1 (x ich) 2 - ∑ ich = 1 n + 1 x ich 2 > 0 wenn n ∑ ich = 1 n (x ich) 2 - ∑ ich = 1 n x ich 2 > 0 .
Wir berechnen:
(n + 1) ∑ ich = 1 n + 1 (x ich) 2 - ∑ ich = 1 n + 1 x ich 2 = = (n + 1) ∑ ich = 1 n (x ich) 2 + x n + 1 2 - ∑ ich = 1 n x ich + x n + 1 2 = = n ∑ ich = 1 n (x ich) 2 + n x n + 1 2 + ∑ ich = 1 n (x ich) 2 + x n + 1 2 - - ∑ ich = 1 n x ich 2 + 2 x n + 1 ∑ ich = 1 n x ich + x n + 1 2 = = ∑ ich = 1 n (x ich) 2 - ∑ ich = 1 n x ich 2 + n x n + 1 2 - x n + 1 ∑ ich = 1 n x ich + ∑ ich = 1 n (x ich) 2 = = ∑ ich = 1 n (x ich) 2 - ∑ ich = 1 n x ich 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ ich = 1 n (x ich) 2 - ∑ ich = 1 n x ich 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0
Der in geschweifte Klammern eingeschlossene Ausdruck ist größer als 0 (basierend auf unseren Annahmen in Schritt 2), und die restlichen Terme sind größer als 0, da sie alle Quadrate von Zahlen sind. Wir haben die Ungleichung bewiesen.
Antworten: die gefundenen a und b entsprechen dem kleinsten Wert der Funktion F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, was bedeutet, dass sie die erforderlichen Parameter der Methode der kleinsten Quadrate sind (LSM).
Wenn Sie einen Fehler im Text bemerken, markieren Sie ihn bitte und drücken Sie Strg+Enter
- Einführungsstunde kostenlos;
- Eine große Anzahl erfahrener Lehrer (muttersprachlich und russischsprachig);
- Kurse NICHT für einen bestimmten Zeitraum (Monat, Halbjahr, Jahr), sondern für eine bestimmte Anzahl von Unterrichtsstunden (5, 10, 20, 50);
- Über 10.000 zufriedene Kunden.
- Die Kosten für eine Unterrichtsstunde mit einem russischsprachigen Lehrer - ab 600 Rubel, mit einem Muttersprachler - ab 1500 Rubel
Die Essenz der Methode der kleinsten Quadrate ist beim Finden der Parameter eines Trendmodells, das den Entwicklungstrend eines zufälligen Phänomens in Zeit oder Raum am besten beschreibt (ein Trend ist eine Linie, die den Trend dieser Entwicklung charakterisiert). Die Aufgabe der Methode der kleinsten Quadrate (OLS) besteht darin, nicht nur irgendein Trendmodell zu finden, sondern das beste oder optimale Modell zu finden. Dieses Modell ist optimal, wenn die Summe der quadrierten Abweichungen zwischen den beobachteten Ist-Werten und den entsprechenden berechneten Trendwerten minimal (am kleinsten) ist:
wo ist die Standardabweichung zwischen den beobachteten tatsächlichen Werten
und dem entsprechenden berechneten Trendwert,
Der tatsächliche (beobachtete) Wert des untersuchten Phänomens,
Geschätzter Wert des Trendmodells,
Die Anzahl der Beobachtungen des untersuchten Phänomens.
MNC wird selten allein verwendet. In der Regel wird es meistens nur als notwendige Technik in Korrelationsstudien verwendet. Dabei ist zu beachten, dass die Informationsgrundlage der LSM nur eine verlässliche statistische Reihe sein kann und die Anzahl der Beobachtungen nicht kleiner als 4 sein sollte, da sonst die Glättungsverfahren der LSM ihren Sinn verlieren könnten.
Das OLS-Toolkit ist auf folgende Verfahren reduziert:
Erstes Verfahren. Es stellt sich heraus, ob es überhaupt eine Tendenz gibt, das resultierende Attribut zu ändern, wenn sich das gewählte Faktor-Argument ändert, oder anders gesagt, ob es einen Zusammenhang gibt zwischen " bei " Und " X ».
Zweites Verfahren. Es wird bestimmt, welche Linie (Trajektorie) diesen Trend am besten beschreiben bzw. charakterisieren kann.
Drittes Verfahren.
Beispiel. Angenommen, wir haben Informationen über den durchschnittlichen Sonnenblumenertrag für den untersuchten Betrieb (Tabelle 9.1).
Tabelle 9.1
|
Beobachtungsnummer |
||||||||||
|
Produktivität, c/ha |
Da sich der technologische Stand der Sonnenblumenproduktion in unserem Land in den letzten 10 Jahren nicht wesentlich verändert hat, bedeutet dies, dass die Ertragsschwankungen im analysierten Zeitraum höchstwahrscheinlich sehr stark von Schwankungen der Wetter- und Klimabedingungen abhingen. Ist es wahr?
Erstes MNC-Verfahren. Die Hypothese über die Existenz eines Trends in der Änderung des Sonnenblumenertrags in Abhängigkeit von Änderungen der Wetter- und Klimabedingungen über die analysierten 10 Jahre wird getestet.
In diesem Beispiel für " j » Es ist ratsam, den Ertrag von Sonnenblumen zu nehmen, und für « X » ist die Nummer des beobachteten Jahres im analysierten Zeitraum. Testen der Hypothese über die Existenz einer Beziehung zwischen " X " Und " j » kann auf zwei Arten erfolgen: manuell und mit Hilfe von Computerprogrammen. Mit der Verfügbarkeit von Computertechnologie wird dieses Problem natürlich von selbst gelöst. Um das OLS-Toolkit besser zu verstehen, ist es jedoch ratsam, die Hypothese über die Existenz einer Beziehung zwischen " X " Und " j » manuell, wenn nur ein Stift und ein gewöhnlicher Taschenrechner zur Hand sind. In solchen Fällen wird die Hypothese des Vorhandenseins eines Trends am besten visuell durch die Position des grafischen Bildes der analysierten Zeitreihe - dem Korrelationsfeld - überprüft:
Das Korrelationsfeld liegt in unserem Beispiel um eine langsam ansteigende Linie herum. Dies allein weist auf das Vorhandensein eines bestimmten Trends bei der Änderung des Sonnenblumenertrags hin. Es ist unmöglich, nur dann über das Vorhandensein eines Trends zu sprechen, wenn das Korrelationsfeld wie ein Kreis, ein Kreis, eine streng vertikale oder streng horizontale Wolke aussieht oder aus zufällig verstreuten Punkten besteht. In allen anderen Fällen ist es notwendig, die Hypothese des Bestehens einer Beziehung zwischen " X " Und " j und forsche weiter.
Zweites MNC-Verfahren. Es wird bestimmt, welche Linie (Trajektorie) den Trend der Sonnenblumenertragsänderungen für den analysierten Zeitraum am besten beschreiben oder charakterisieren kann.
Mit der Verfügbarkeit von Computertechnologie erfolgt die Auswahl des optimalen Trends automatisch. Bei der "manuellen" Verarbeitung erfolgt die Auswahl der optimalen Funktion in der Regel visuell - durch die Lage des Korrelationsfeldes. Das heißt, je nach Diagrammtyp wird die Liniengleichung gewählt, die am besten zum empirischen Trend (zur tatsächlichen Trajektorie) passt.
Wie Sie wissen, gibt es in der Natur eine Vielzahl funktionaler Abhängigkeiten, daher ist es äußerst schwierig, auch nur einen kleinen Teil davon visuell zu analysieren. Glücklicherweise können in der realen Wirtschaftspraxis die meisten Beziehungen entweder durch eine Parabel, eine Hyperbel oder eine gerade Linie genau beschrieben werden. Dabei können Sie sich mit der Option „manuell“ zur Auswahl der besten Funktion auf diese drei Modelle beschränken.
|
Hyperbel: |
||
|
|
|
Parabel zweiter Ordnung: 
:
Es ist leicht zu erkennen, dass in unserem Beispiel der Trend der Sonnenblumenertragsänderungen über die analysierten 10 Jahre am besten durch eine gerade Linie charakterisiert wird, sodass die Regressionsgleichung eine gerade Liniengleichung sein wird.
Drittes Verfahren. Die diese Linie charakterisierenden Parameter der Regressionsgleichung werden berechnet, oder anders ausgedrückt, es wird eine beschreibende analytische Formel ermittelt bestes Modell Trend.
Das Finden der Werte der Parameter der Regressionsgleichung, in unserem Fall der Parameter und , ist der Kern des LSM. Dieser Prozess reduziert sich auf das Lösen eines Systems von Normalgleichungen.
(9.2)
Dieses Gleichungssystem lässt sich recht einfach mit der Gauß-Methode lösen. Denken Sie daran, dass als Ergebnis der Lösung in unserem Beispiel die Werte der Parameter und gefunden werden. Somit hat die gefundene Regressionsgleichung die folgende Form: 
Wenn eine physikalische Größe von einer anderen Größe abhängt, kann diese Abhängigkeit untersucht werden, indem y bei verschiedenen Werten von x gemessen wird. Als Ergebnis von Messungen wird eine Reihe von Werten erhalten:
x 1 , x 2 , ..., x i , ... , x n ;
y 1 , y 2 , ..., y ich , ... , y n .
Basierend auf den Daten eines solchen Experiments ist es möglich, die Abhängigkeit y = ƒ(x) darzustellen. Die resultierende Kurve ermöglicht es, die Form der Funktion ƒ(x) zu beurteilen. Die konstanten Koeffizienten, die in diese Funktion eingehen, bleiben jedoch unbekannt. Sie können nach der Methode der kleinsten Quadrate bestimmt werden. Die Versuchspunkte liegen in der Regel nicht genau auf der Kurve. Die Methode der kleinsten Quadrate erfordert, dass die Summe der quadrierten Abweichungen der experimentellen Punkte von der Kurve, d. h. 2 war die kleinste.
In der Praxis wird diese Methode am häufigsten (und am einfachsten) im Fall einer linearen Beziehung verwendet, d.h. Wenn
y=kx oder y = a + bx.
Lineare Abhängigkeit in der Physik sehr verbreitet. Und selbst wenn die Abhängigkeit nicht linear ist, versuchen sie normalerweise, einen Graphen so zu erstellen, dass eine gerade Linie entsteht. Wenn beispielsweise angenommen wird, dass der Brechungsindex von Glas n durch die Beziehung n = a + b/λ 2 mit der Wellenlänge λ der Lichtwelle in Beziehung steht, dann ist die Abhängigkeit von n von λ –2 in dem Diagramm aufgetragen .
Bedenke die Abhängigkeit y=kx(Gerade durch den Ursprung). Setzen wir den Wert φ aus der Summe der quadrierten Abweichungen unserer Punkte von der Geraden zusammen
Der Wert von φ ist immer positiv und fällt umso kleiner aus, je näher unsere Punkte an der Geraden liegen. Die Methode der kleinsten Quadrate besagt, dass man für k einen solchen Wert wählen sollte, bei dem φ ein Minimum hat
oder
(19)
Die Berechnung zeigt, dass der quadratische Mittelwertfehler bei der Bestimmung des Werts von k gleich ist
, (20)
wobei n die Anzahl der Dimensionen ist.
Betrachten wir nun einen etwas schwierigeren Fall, bei dem die Punkte die Formel erfüllen müssen y = a + bx(eine gerade Linie, die nicht durch den Ursprung geht).
Die Aufgabe besteht darin, aus der gegebenen Wertemenge x i , y i die besten Werte von a und b zu finden.
Wieder setzen wir eine quadratische Form φ zusammen, die gleich der Summe der quadrierten Abweichungen der Punkte x i , y i von der geraden Linie ist
und finden Sie die Werte a und b, für die φ ein Minimum hat
;
.
Die gemeinsame Lösung dieser Gleichungen ergibt
(21)
Die quadratischen Mittelfehler bei der Bestimmung von a und b sind gleich
(23)
. (24)
Wenn die Messergebnisse nach diesem Verfahren verarbeitet werden, ist es zweckmäßig, alle Daten in einer Tabelle zusammenzufassen, in der alle in den Formeln (19) (24) enthaltenen Mengen vorläufig berechnet werden. Die Formen dieser Tabellen werden in den Beispielen unten gezeigt.
Beispiel 1 Die Grundgleichung der Dynamik wurde untersucht Drehbewegungε = M/J (Gerade durch den Ursprung). Für verschiedene Werte des Moments M wurde die Winkelbeschleunigung ε eines bestimmten Körpers gemessen. Es ist erforderlich, das Trägheitsmoment dieses Körpers zu bestimmen. Die Ergebnisse der Messungen des Kraftmoments und der Winkelbeschleunigung sind in der zweiten und dritten Spalte aufgeführt Tabellen 5.
Tabelle 5
| N | M, Nm | ε, s-1 | M2 | M ε | ε - kM | (ε - kM) 2 |
| 1 | 1.44 | 0.52 | 2.0736 | 0.7488 | 0.039432 | 0.001555 |
| 2 | 3.12 | 1.06 | 9.7344 | 3.3072 | 0.018768 | 0.000352 |
| 3 | 4.59 | 1.45 | 21.0681 | 6.6555 | -0.08181 | 0.006693 |
| 4 | 5.90 | 1.92 | 34.81 | 11.328 | -0.049 | 0.002401 |
| 5 | 7.45 | 2.56 | 55.5025 | 19.072 | 0.073725 | 0.005435 |
| ∑ | | | 123.1886 | 41.1115 | | 0.016436 |
Durch Formel (19) bestimmen wir:
.
Um den quadratischen Mittelwertfehler zu bestimmen, verwenden wir Formel (20)
0.005775kg-1 · M -2 .
Nach Formel (18) haben wir
SJ = (2,996 0,005775)/0,3337 = 0,05185 kgm2.
Bei gegebener Zuverlässigkeit P = 0,95 finden wir gemäß der Tabelle der Student-Koeffizienten für n = 5 t = 2,78 und bestimmen den absoluten Fehler ΔJ = 2,78 · 0,05185 = 0,1441 ≈ 0,2 kgm2.
Wir schreiben die Ergebnisse in der Form:
J = (3,0 ± 0,2) kgm2;
Beispiel 2 Wir berechnen den Temperaturkoeffizienten des Widerstands des Metalls nach der Methode der kleinsten Quadrate. Der Widerstand hängt nach einem linearen Gesetz von der Temperatur ab
R. t \u003d R. 0 (1 + α t °) \u003d R. 0 + R. 0 α t °.
Der freie Term bestimmt den Widerstand R 0 bei einer Temperatur von 0 °C, und der Winkelkoeffizient ist das Produkt aus dem Temperaturkoeffizienten α und dem Widerstand R 0 .
Die Ergebnisse der Messungen und Berechnungen sind in der Tabelle ( siehe Tabelle 6).
Tabelle 6
| N | t°, s | r, Ohm | t-¯t | (t-¯t) 2 | (t-¯t)r | r-bt-a | (r - bt - a) 2,10 -6 |
| 1 | 23 | 1.242 | -62.8333 | 3948.028 | -78.039 | 0.007673 | 58.8722 |
| 2 | 59 | 1.326 | -26.8333 | 720.0278 | -35.581 | -0.00353 | 12.4959 |
| 3 | 84 | 1.386 | -1.83333 | 3.361111 | -2.541 | -0.00965 | 93.1506 |
| 4 | 96 | 1.417 | 10.16667 | 103.3611 | 14.40617 | -0.01039 | 107.898 |
| 5 | 120 | 1.512 | 34.16667 | 1167.361 | 51.66 | 0.021141 | 446.932 |
| 6 | 133 | 1.520 | 47.16667 | 2224.694 | 71.69333 | -0.00524 | 27.4556 |
| ∑ | 515 | 8.403 | | 8166.833 | 21.5985 | | 746.804 |
| ∑/n | 85.83333 | 1.4005 | | | | | |
Durch die Formeln (21), (22) bestimmen wir
R 0 = ¯ R - α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Ohm.
Finden wir einen Fehler in der Definition von α. Da gilt dann nach Formel (18):
.
Unter Verwendung der Formeln (23), (24) haben wir
;
0.014126 Ohm.
Bei gegebener Zuverlässigkeit P = 0,95 finden wir gemäß der Tabelle der Student-Koeffizienten für n = 6 t = 2,57 und bestimmen den absoluten Fehler Δα = 2,57 · 0,000132 = 0,000338 Grad -1.
α = (23 ± 4) 10 -4 Hagel-1 bei P = 0,95.
Beispiel 3 Es ist erforderlich, den Krümmungsradius der Linse aus den Newtonschen Ringen zu bestimmen. Die Radien der Newtonschen Ringe r m wurden gemessen und die Anzahl dieser Ringe m bestimmt. Die Radien der Newtonschen Ringe hängen mit dem Krümmungsradius der Linse R und der Ringnummer durch die Gleichung zusammen
r 2 m = mλR - 2d 0 R,
wobei d 0 die Dicke des Spaltes zwischen Linse und planparalleler Platte (bzw. Linsenverformung) ist,
λ ist die Wellenlänge des einfallenden Lichts.
λ = (600 ± 6) nm;
r2m = y;
m = x;
λR = b;
-2d 0 R = a,
dann nimmt die Gleichung die Form an y = a + bx.
.Die Ergebnisse von Messungen und Berechnungen werden eingetragen Tabelle 7.
Tabelle 7
| N | x = m | y \u003d r 2, 10 -2 mm 2 | m-¯m | (m-¯m) 2 | (m-¯m)y | y-bx-a, 10-4 | (y - bx - a) 2, 10 -6 |
| 1 | 1 | 6.101 | -2.5 | 6.25 | -0.152525 | 12.01 | 1.44229 |
| 2 | 2 | 11.834 | -1.5 | 2.25 | -0.17751 | -9.6 | 0.930766 |
| 3 | 3 | 17.808 | -0.5 | 0.25 | -0.08904 | -7.2 | 0.519086 |
| 4 | 4 | 23.814 | 0.5 | 0.25 | 0.11907 | -1.6 | 0.0243955 |
| 5 | 5 | 29.812 | 1.5 | 2.25 | 0.44718 | 3.28 | 0.107646 |
| 6 | 6 | 35.760 | 2.5 | 6.25 | 0.894 | 3.12 | 0.0975819 |
| ∑ | 21 | 125.129 | | 17.5 | 1.041175 | | 3.12176 |
| ∑/n | 3.5 | 20.8548333 | | | | | |