Drumfan159
Level-2
- Beiträge
- 53
- Reaktionspunkte
- 0
-> Hier kostenlos registrieren
Hi zusammen,
hätte mal eine allgemeine Frage zu den Zahlensystemen bzw. speziell REAL....
Lustiges Phänomen beim Kunden: Nach jahrerlanger Arbeit meinte er plötzlich "Sein Zählwert (Durchflussmenge)" stimmt nicht mehr. Und zwar wird bei einem Taktsignal eines Durchflusszählers immer um 1,5L gezählt. Nun ist der Zähler bei einem Bestimmte Wert angekommen: 8.388.608,0 - - -> entsprich 2²³.
Ab diesem Wert erfasst der Datentyp REAL die Kommastelle bei 1,5 nicht mehr sondern runded beim Zählwert addieren gleich auf 2,0 auf.
Meine Frage nun, wieso ist das so? Warum erkennt er bei 2 hoch 23 die Kommastelle nicht mehr richtig?
Ich habe schon eine Lösung gefunden, und zwar rechne ich das Ganze gleich von Liter auf m³ um, sollte dann doch eine gaaaaanze weile wieder laufen^^.
Vielleicht kann mir der ein oder andere meine Verständnisfrage beantworten.
Gruß Drumfan.
hätte mal eine allgemeine Frage zu den Zahlensystemen bzw. speziell REAL....
Lustiges Phänomen beim Kunden: Nach jahrerlanger Arbeit meinte er plötzlich "Sein Zählwert (Durchflussmenge)" stimmt nicht mehr. Und zwar wird bei einem Taktsignal eines Durchflusszählers immer um 1,5L gezählt. Nun ist der Zähler bei einem Bestimmte Wert angekommen: 8.388.608,0 - - -> entsprich 2²³.
Ab diesem Wert erfasst der Datentyp REAL die Kommastelle bei 1,5 nicht mehr sondern runded beim Zählwert addieren gleich auf 2,0 auf.
Meine Frage nun, wieso ist das so? Warum erkennt er bei 2 hoch 23 die Kommastelle nicht mehr richtig?
Ich habe schon eine Lösung gefunden, und zwar rechne ich das Ganze gleich von Liter auf m³ um, sollte dann doch eine gaaaaanze weile wieder laufen^^.
Vielleicht kann mir der ein oder andere meine Verständnisfrage beantworten.
Gruß Drumfan.