Duży plik CSV — jak podzielić i bezpiecznie otworzyć

Dlaczego plik się nie otwiera

Excel ma limit 1 048 576 wierszy, a wiele aplikacji ma znacznie niższe progi. Gdy plik ma więcej danych, część zostanie obcięta. Podział ułatwi narzędzie do dzielenia CSV.

Bezpieczny schemat

1. Zachowaj oryginał bez zmian.
2. Sprawdź separator: przecinek lub średnik.
3. Ustal limit wierszy dla systemu docelowego.
4. Podziel plik, zachowując nagłówek.
5. Policz wiersze po podziale.

Kodowanie

Polskie znaki często psują się przy złym kodowaniu. Zmienisz je w zmianie kodowania, a przyczyny opisuje poradnik kodowanie plików. Otwarcie w Excelu krok po kroku pokazuje osobny poradnik.

Pola z nową linią

CSV pozwala na przejście do nowego wiersza wewnątrz pola w cudzysłowach. Proste dzielenie linii może rozdzielić taki rekord na dwa pliki. Jeśli dane zawierają opisy lub adresy, sprawdź je ręcznie albo użyj skryptu z parserem CSV. Rozmiar danych przy imporcie oceni także konwersja CSV do JSON.

Skrypt dla bardzo dużych plików

Przeglądarka ładuje plik do pamięci. Dla kilku gigabajtów lepiej użyć narzędzia działającego strumieniowo, np. polecenia split w systemie Linux lub krótkiego skryptu. Baza danych z importem wsadowym jest wygodniejsza, gdy pracujesz z milionami rekordów regularnie.

Zgodność

Przed importem produkcyjnym wypróbuj jedną małą część. Sprawdź daty, liczby dziesiętne i pola puste. Dzięki temu unikniesz cofania dużego błędnego importu. Dane osobowe w plikach traktuj jak każdy inny poufny dokument.