Online-Tabellenkalkulations-Webanwendung, die 10 Millionen Zeilen anzeigen kann

Eine Option, die in einem Browser oder in einem Befehlsfenster/Terminal vorhanden sein könnte, ist die Kombination von Python , ipython & Pandas plus für in einem Browser Jupyter - es sieht jedoch nicht sehr nach einer Tabelle aus. Ich vermute, dass dies kein allzu großes Problem darstellen würde, da nur wenige Leute die Zeit oder Neigung haben, 9 Millionen Zeilen zu lesen, und sich solche Datenausschnitte ansehen oder Zusammenfassungen wie Min, Max, Mittelwert, Standardabweichung usw. erstellen würden.

Nur um den Punkt zu beweisen, generierte a eine .csv-Datei mit 10.000.000 Zeilen x 15 Spalten (die erste Spalte eine fortlaufende Nummer, die zweite eine zufällige Ganzzahl im Bereich 1..5000000 und der Rest "abcdef" und nahm einige Messungen mit a letzte leere Spalte, da ich jede Zeile mit einem Komma beende. Ich verwende einen Laptop mit Python 3.6.5 (v3.6.5:f59c0932b4, 28. März 2018, 17:00:18) [MSC v.1900 64 Bit (AMD64 )] unter Win10/64.

ipython Eingabeaufforderungszeiten:

%time df = pandas.read_csv('big.csv')
Wall time: 25.3 s
%time df = df.sort_values('Col_0') # This is the random number column
Wall time: 19 s
%time df['Col_0'].mean() 
Wall time: 183 ms
 2499787.4277122
%time df['Col_0'].std()
Wall time: 364 ms
 1443592.9048092277

Natürlich können wir mit Jupyter-Notebooks dasselbe in einem Browser tun:

Mit Pandas können Sie die meisten wahrscheinlichen Manipulationen an einem so großen Datensatz durchführen, einschließlich grundlegender Darstellungen, und mit dem Hinzufügen einer der vielen Diagrammbibliotheken können Sie ausgefallene Diagramme usw. erstellen.

Beachten Sie, dass Jupyter & Pandas als Self-Hosting-Lösung oder über einen Dienst wie mybinder.org oder colab.research.google.com/notebooks/welcome.ipynb ausgeführt oder auf AWS oder ähnlichem gehostet werden können.

CSV Explorer ist ein Online-Tool zum Öffnen großer CSV-Dateien und Tabellenkalkulationen mit Millionen von Zeilen. Sie können mit wenigen Klicks suchen, sortieren und filtern.

https://www.CSVExplorer.com