CSV Download



  • Die Datendateien können auf der SD Karte auf dem air-Q heruntergeladen werden.
    Dank unserem Kunden Michael M. haben wir nun auch einen ersten direkten CSV Export vom Gerät. Dieser funktioniert schon sehr gut. Hier gibt es diesen zum Download immer aktuell:
    https://www.dropbox.com/sh/623xqmwznenw4rt/AACzTmlHFfjYMNx-aL-WC76wa?dl=0

    Danke @Micha



  • Die Applikation habe ich noch einmal etwas überarbeitet:

    2f37af04-14d2-4d39-a582-26fedcd6f3d6-grafik.png

    • Man kann jetzt Zeitintervalle wählen, also von .. bis. Aber Achtung große Zeitintervalle führen zwangsläufig zu langen Laufzeiten.

    • Die Beschreibung habe ich etwas überarbeitet. Insbesondere sollte man jetzt auch mit weniger technischem Wissen die Applikation nutzen können.

    • Ein kleines Excel-Sheet, als Beispiel wie man solche Daten verarbeiten kann, ist ebenso dabei.

    @Mario-air-Q Ich schicke Euch wieder die ZIP-Datei zum Aktualisieren.



  • klasse. danke @Micha
    Inhalte sind aktualisiert. hier nochmal der Link (Identisch zum obigen): https://www.dropbox.com/sh/623xqmwznenw4rt/AACzTmlHFfjYMNx-aL-WC76wa?dl=0



  • Die Verarbeitung der Daten in Excel aus dieser erzeugten CSV-Datei ist nicht so einfach. Das liegt hauptsächlich an zwei Punkten: Excel in deutscher Sprachversion kann mit der Zahlenformatierung mit Dezimalpunkt „.“ nicht so einfach umgehen, und die meisten Sensorwerte wurden über zwei Zahlen in einer Excel-Zelle dargestellt. Die erste Zahl ist der Wert, die zweite die prozentuale Abweichung „errorrate“.
    Ich habe deshalb das Ganze noch einmal überarbeitet. Jetzt kann man im Formular die Formatierung so anpassen, dass Excel das Ganze sofort „versteht“. Und die „zwei Zahlen in einer Excel-Zelle“ wurde auf jeweils zwei Spalten verteilt. Die Default-Einstellung ist für Excel in deutscher Sprachversion.
    In der Anleitung ist jetzt auch eine ausführliche Dokumentation wie man diese CSV-Datei in Excel einliest.

    b2b7a737-3513-4d4f-acb8-c706f967e9e4-grafik.png

    @Mario-air-Q Ich schicke Euch wieder die ZIP-Datei zum Aktualisieren.





  • Einen Fehler in download.html habe ich entdeckt: Die letzte Messreihe in einer Datei wurde nicht verarbeitet.
    Dadurch fehlten im CSV-Download ein paar wenige Messreihen.
    Dieser Fehler ist korrigiert und verfügbar sobald die Admins den Link aktualisieren.

    @Mario-air-Q Ich schicke Euch wieder die ZIP-Datei zum Aktualisieren.





  • Download als Excel-Sheet

    Im Rahmen eines anderen Projektes habe ich die Bibliothek SheetJS js-xlsx (https://sheetjs.com/) gefunden. Hiervon gibt es auch eine OpenSource-Variante (https://github.com/SheetJS/sheetjs), die für unsere Zwecke vollständig ausreicht.
    Diese habe ich in download.html eingebunden und damit kann jetzt der Download auch direkt als XLS-Sheet erfolgen.

    1dc08ea6-2121-42cc-9c40-ebf8b1ec2f3c-grafik.png
    Diese Funktionalität ist aber noch „experimentell“. Ich habe das lediglich mit der deutschen Excel-Version 2010 getestet. Andere Excel-Versionen stehen mir schlicht und einfach nicht zur Verfügung. Es sollte aber mit allen Excel-Versionen ab 2007 sowie auch mit den Excel-kompatiblen Programmen wie LibreOffice und OpenOffice funktionieren.
    Probleme könnten auftauchen:
    • Am ehesten beim Formatieren der Datumsspalte „timestamp2“,
    • Beim Formatierung der numerischen Messwerte (eher unwahrscheinlich),
    • Bei fehlenden Messwerten, z.B. in der Warmup-Phase (eher unwahrscheinlich).
    Ich würde mich freuen, wenn Ihr das mit Euren Excel-Versionen ausprobiert und mir hier im Forum Feedback gebt, mit welcher Excel-Version es noch funktioniert hat, bzw. auf welche Fehler Ihr gegebenenfalls gestoßen seid.

    @Mario-air-Q Ich schicke Euch wieder die ZIP-Datei zum Aktualisieren.



  • danke @Micha

    hier sind beide Versionen zu finden (link ist unverändert): https://www.dropbox.com/sh/623xqmwznenw4rt/AACzTmlHFfjYMNx-aL-WC76wa?dl=0



  • WICHTIG
    Eventuelle Fehler, Probleme oder Fragen bitte hier im Forum stellen oder direkt an mich. Corant/air- Q Team hat dies nicht erstellt kann also auch keinen Support liefern.



  • es ist noch ein kleiner Fehler im Tool: Die Aufwärmzeit der Sensoren wird noch nicht korrekt in den CSV Daten abgebildet. Das ist aber bereits in der Lösung.
    @Micha danke.



  • Ein paar kleinere Korrekturen habe ich in download.html vorgenommen:

    • In den Firmware-Versionen ab 1.54 fehlte der Wert „sound_max“. Ab 1.61 soll er wieder aufgenommen werden (siehe auch https://forum.air-q.com/post/438).
      download.html berücksichtigt jetzt einen Wert für „sound_max“.

    • Der direkte xlsx-download hat sich bei meinen Tests als stabil herausgestellt, deshalb habe ich das „(experimentell)“ heraus genommen.

    • Der gemeldete Fehler bei der Aufwärmzeit von Sensoren hat eine andere Ursache. download.html berücksichtigt die Aufwärmzeit und damit eventuell fehlende Sensorwerte.
      Achtung: Es sollte etwas für "missing value" angegeben werden (z.B. ein Minus-Zeichen), also das Feld nicht leer lassen!

    WICHTIG
    Eventuelle Fehler, Probleme oder Fragen bitte hier ins Forum stellen oder direkt an mich. Corant/air- Q Team hat dies nicht erstellt kann also auch keinen Support liefern.

    @Mario-air-Q Ich schicke Euch wieder die ZIP-Datei zum Aktualisieren.



  • @Micha Datei ist aktualisiert. Danke Dir!!!

    hier der Link: https://www.dropbox.com/sh/623xqmwznenw4rt/AACzTmlHFfjYMNx-aL-WC76wa?dl=0



  • @Micha
    Auf Grund der derzeitigen Cloud-Probleme habe ich mich mit dem CSV-Download beschäftigt.
    Ich habe dann "Download XLSX" gewählt und die Datei in LibreOffice geöffnet.
    Funktioniert grundsätzlich problemlos. Problematisch ist jetzt aber, mich interessierende Werte in ein Diagramm mit Datum und Zeitstempel zu bringen. Es sind ja zwei Timestamp vorhanden, die sich aber nicht ohne zeitaufwändigen händischen Einsatz in ein Datum & Zeit Format umwandeln lassen.
    Die Zeit allein würde mir reichen.
    Ich habe das Problem einmal im Bild dargestellt

    Timestamp Beispiel1.JPG

    In Spalte A ist vor dem UnixTimestamp das Datum angegeben was dann zum Fehler führt. Entfernt man das Datum, so ist alles ok.
    In Spalte D ist er Timestamp um 3 "Nullen" zu lang was die Zeitangabe durcheinander bringt. Löscht man die Nullen, so ist alles ok.
    Das löschen habe ich in Zeile 1 und 2 durchgeführt. Auch habe ich unter "Zellen formatieren" unterschiedliche Formate probiert, aber ohne Erfolg. Die Berechnungsformel ist oben zu sehen. Zumindest für die Spalte D könnte ich einen weiteren Rechenschritt (geteilt durch 1000) einfügen.
    Das würde ja gehen, ist aber nicht unbedingt elegant.
    Vielleich hat ja jemand einen Tipp oder die richtige Formel um zu einem lesbaren Ergebnis zu kommen? Excel selbst habe ich nicht mehr. Nur LibreOffice und OpenOffice sind installiert.



  • Hallo @FreshAire
    so ganz verstehe ich die Problematik nicht. Vielleicht liegt es aber auch daran, dass ich Excel nutze und LibreOffice nicht installiert habe.
    Im Download gibt es die Spalte-BE "timestamp". Diese enthält den Timestamp als Unix-Timestamp in msec., deshalb die drei Nullen am Ende. Das kommt genaus so vom air-Q.
    Direkt daneben gibt es die Spalte-BF "timestamp2". Diese enthält die Berechnung aus dem timestamp oben in einer lesbaren Form (dd.mm.yy hh:mm:ss).
    Wenn ich in Excel z.B. die Spalte-BF "timestamp2" und Spalte-BG "TVOC" markiere und daraus eine Grafik generiere, dann kommt

    cb68c967-c3ec-4278-8ee2-8cc56cec6505-grafik.png

    Jetzt kann es sein, dass die Problematik in LibreOffice daraus resultiert, dass die Spalte-BF "timestamp2" als Text und nicht als Datum Uhrzeit formatiert ist. Diese Formatierung habe ich nicht implementiert, da unterschiedliche Sprachversionen von Excel hier zu Konflikten führen.
    Aber das lässt sich doch leicht lösen, in dem Du eine weiter Spalte einfügst, diese wie Du es brauchst formatierst und dann dort als Formel =BF<n> einträgst (<n> = Zeile). Willst Du nur die Uhrzeit, dann kannst Du als Formel auch =RECHTS(BF<n>;8) eintragen.

    Ich hoffe mal, dass das hilft?

    Edit Nachtrag: Jetzt sehe ich, Du verwendest die Spalte "file". Diese ist ungeeignet, sie enthält den internen Dateinamen vom air-Q, in dem diese Werte gespeichert wurden.



  • @Micha
    Hallo Micha, danke für die Infos und Hinweise. Habe mich "notgedrungen" nach Jahren wieder mit Excel & Co beschäftigt und wieder dazugelernt. Mit Timestamp hatte ich bisher noch nie zu tun.
    Also, den "timestamp 2" habe ich unter LibreOffice nicht hinbekommen. Dafür den "timestamp" in 2 Spalten -"Datum & Zeit" - aufgeteilt. Somit kann ich damit problemlos weiter machen und es erfüllt meine derzeitigen Ansprüche.

    Habe mich dann noch mit der CSV-Datei beschäftigt. Mit OpenOffice ist der "timestamp 2" sofort lesbar.
    Auch alle anderen Werte scheinen richtig dargestellt zu werden. Habe das aber im einzelnen noch nicht weiter verfolgt. In LibreOffice gab es grundsätzliche Probleme, da muss ich noch mal schauen
    Das auch als Hinweis an andere Nutzer die kein Excel haben.
    Noch einmal Danke für die Erstellung des Downloadpaket. Ist sehr hilfreich und nützlich.



  • Um große Datenmengen noch etwas einfacher umzuwandeln haben wir ein eigenes CSV Konverter Tool umgesetzt. Dieses ist zu finden unter tools.air-q.com.
    Hier ein Beispiel für den Export mit einer Erklärung für die Spalten: https://www.dropbox.com/s/3wnt40o4x3zdz4d/Spaltenbeschriftungen_neu.xlsx?dl=1



  • @Mario-air-Q
    "Erklärung der Spalten" Dazu eine Verständnisfrage:
    uptime - Laufzeit des Gerätes in Sekunden

    Was bedeutet das konkret? Was startet den Zähler neu, bzw. setzt ihn zurück auf "0"?
    Könnten daraus Rückschlüsse auf einen Geräte-Reset oder ein sonstiges Problem gezogen werden?
    Hier ein Auszug, mal sind es 2 Stunden, mal 3 Tage Laufzeit.

    *23.03.21 01:30:03 286876,00 = 79,69 h = 3,32 Tage
    23.03.21 01:33:41 138,00

    19.03.21 04:25:57 64535,00 = 17,93 h
    19.03.21 04:29:14 137,00

    19.03.21 06:47:34 8437,00 = 3,34 h
    19.03.21 06:50:52 135,00

    19.03.21 08:49:09 7232,00 = 2 h
    19.03.21 08:52:45 137,00*

    Zu Fenster geöffnet. Testphase, also bitte ignorieren.
    Hier sind ja unter window open "Änderungen (0/1)" zu sehen. Als Kriterium wurde ja der Luftdruck in einem Beitrag erwähnt. Sind die jetzigen gespeicherten Werte eher zufällig generiert oder aus dem Luftdruck abgeleitet?

    Bei mir ist das Hauptlüftungsfenster mit einem Sensor versehen, ein weiterer an der Zimmereingangstür wäre kein Problem. Insofern wäre es schon interessant, einmal zu vergleichen. Auch wenn ich das Luftdruck-Prinzip in einem älteren Einfamilienhaus nicht unbedingt für praktikabel halte. Aber vielleicht überzeugt mich das dann vom Gegenteil...

    Wohlgemerkt, mir ist natürlich schon klar, das es sich dann um eine "experimentelle Testphase" handelt.



  • Hallo @FreshAire
    uptime - Laufzeit des Gerätes in Sekunden: Bei jedem Start des air-Q wird uptime auf Null gesetzt und zählt dann kontinuierlich hoch.

    Bisher habe ich das beobachtet bei:

    • Ausschalten und wieder Einschalten
    • nach einem Firmware Update
    • Geräte Reset auf Grund eines internen Software-"Problems", z.B. WatchDog. Näheres findet man dann im Logfile.

    Ich vermute stark, dass es keine weiteren Ursachen gibt.



  • @Micha danke! alles korrekt!

    @FreshAire
    Fenster auf/zu wird aus der ersten Ableitung des CO2 Wertes berechnet. Das ist natürlich ohne Weiteres erstmal fehlerbehaftet. wir werden das aber noch deutlich ausbauen - vor allem online. In der cloud können sehr viel ehr Werte Parallel ausgewerten und miteinander verknüpft werden. Das schafft der kleine Prozessor so nicht.
    In den nächsten Wochen erweitern wir unser Team in dem Bereich so dass es dort demnächst mit größeren Schritten voran gehen wird.


Log in to reply