Läser CSV-filer i Python

I den här handledningen lär vi oss att läsa CSV-filer med olika format i Python med hjälp av exempel.

Vi ska exklusivt använda den csvinbyggda modulen i Python för denna uppgift. Men först måste vi importera modulen som:

 import csv 

Vi har redan täckt grunderna för hur man använder csvmodulen för att läsa och skriva till CSV-filer. Om du inte har någon aning om att använda csvmodulen, kolla in vår handledning om Python CSV: Läs och skriv CSV-filer

Grundläggande användning av csv.reader ()

Låt oss titta på ett grundläggande exempel på att använda för csv.reader()att uppdatera din befintliga kunskap.

Exempel 1: Läs CSV-filer med csv.reader ()

Anta att vi har en CSV-fil med följande poster:

 SN, Name, Contribution 1, Linus Torvalds, Linux Kernel 2, Tim Berners-Lee, World Wide Web 3, Guido van Rossum, Python Programming 

Vi kan läsa innehållet i filen med följande program:

 import csv with open('innovators.csv', 'r') as file: reader = csv.reader(file) for row in reader: print(row) 

Produktion

 ('SN', 'Name', 'Contribution') ('1', 'Linus Torvalds', 'Linux Kernel') ('2', 'Tim Berners-Lee', 'World Wide Web') ('3' , 'Guido van Rossum', 'Python Programming') 

Här har vi öppnat filen innovators.csv i läsläge med hjälp av open()funktionen.

För att lära dig mer om att öppna filer i Python, besök: Python File Input / Output

Sedan används den csv.reader()för att läsa filen, som returnerar ett iterabelt readerobjekt.

Det readerobjektet därefter itereras med användning av en forslinga för att skriva ut innehållet i varje rad.

Nu kommer vi att titta på CSV-filer med olika format. Vi lär oss sedan hur man anpassar csv.reader()funktionen för att läsa dem.

CSV-filer med anpassade avgränsare

Som standard används ett komma som avgränsare i en CSV-fil. Vissa CSV-filer kan dock använda andra avgränsare än kommatecken. Få populära är |och .

Antag att innovators.csv- filen i exempel 1 använde fliken som avgränsare. För att läsa filen kan vi skicka en ytterligare delimiterparameter till csv.reader()funktionen.

Låt oss ta ett exempel.

Exempel 2: Läs CSV-fil med tabbavgränsare

 import csv with open('innovators.csv', 'r') as file: reader = csv.reader(file, delimiter = ' ') for row in reader: print(row) 

Produktion

 ('SN', 'Name', 'Contribution') ('1', 'Linus Torvalds', 'Linux Kernel') ('2', 'Tim Berners-Lee', 'World Wide Web') ('3' , 'Guido van Rossum', 'Python Programming') 

Som vi kan se delimiter = ' 'hjälper den valfria parametern att specificera readerobjektet som CSV-filen vi läser från har flikar som avgränsare.

CSV-filer med initiala mellanslag

Vissa CSV-filer kan ha mellanslagstecken efter en avgränsare. När vi använder standardfunktionen för csv.reader()att läsa dessa CSV-filer får vi också utrymmen i utdata.

För att ta bort dessa initiala mellanslag måste vi skicka en ytterligare parameter som kallas skipinitialspace. Låt oss titta på ett exempel:

Exempel 3: Läs CSV-filer med initiala mellanslag

Antag att vi har en CSV-fil som heter people.csv med följande innehåll:

 SN, Namn, Stad 1, John, Washington 2, Eric, Los Angeles 3, Brad, Texas 

Vi kan läsa CSV-filen enligt följande:

 import csv with open('people.csv', 'r') as csvfile: reader = csv.reader(csvfile, skipinitialspace=True) for row in reader: print(row) 

Produktion

 ('SN', 'Name', 'City') ('1', 'John', 'Washington') ('2', 'Eric', 'Los Angeles') ('3', 'Brad', ' Texas ') 

Programmet liknar andra exempel men har en ytterligare skipinitialspaceparameter som är satt till True.

Detta gör det möjligt för readerobjektet att veta att posterna har initialt mellanslag. Som ett resultat tas de initiala mellanslagen som var närvarande efter en avgränsare bort.

CSV-filer med citat

Vissa CSV-filer kan ha citat runt varje eller några av posterna.

Låt oss ta citat.csv som ett exempel, med följande poster:

 "SN", "Namn", "Citat" 1, Buddha, "Vad vi tror att vi blir" 2, Mark Twain, "Ångrar aldrig något som fick dig att le" 3, Oscar Wilde, "Var dig själv alla andra är redan tagna" 

Användning csv.reader()i minimalt läge resulterar i utdata med citattecken.

För att ta bort dem måste vi använda en annan valfri parameter som heter quoting.

Låt oss titta på ett exempel på hur man läser ovanstående program.

Exempel 4: Läs CSV-filer med citat

 import csv with open('person1.csv', 'r') as file: reader = csv.reader(file, quoting=csv.QUOTE_ALL, skipinitialspace=True) for row in reader: print(row) 

Produktion

 ('SN', 'Name', 'Quotes') ('1', 'Buddha', 'What we think we become') ('2', 'Mark Twain', 'Never regret anything that made you smile') ('3', 'Oscar Wilde', 'Be yourself everyone else is already taken') 

As you can see, we have passed csv.QUOTE_ALL to the quoting parameter. It is a constant defined by the csv module.

csv.QUOTE_ALL specifies the reader object that all the values in the CSV file are present inside quotation marks.

There are 3 other predefined constants you can pass to the quoting parameter:

• csv.QUOTE_MINIMAL - Specifies reader object that CSV file has quotes around those entries which contain special characters such as delimiter, quotechar or any of the characters in lineterminator.
• csv.QUOTE_NONNUMERIC - Specifies the reader object that the CSV file has quotes around the non-numeric entries.
• csv.QUOTE_NONE - Specifies the reader object that none of the entries have quotes around them.

Dialects in CSV module

Notice in Example 4 that we have passed multiple parameters (quoting and skipinitialspace) to the csv.reader() function.

This practice is acceptable when dealing with one or two files. But it will make the code more redundant and ugly once we start working with multiple CSV files with similar formats.

As a solution to this, the csv module offers dialect as an optional parameter.

Dialect helps in grouping together many specific formatting patterns like delimiter, skipinitialspace, quoting, escapechar into a single dialect name.

It can then be passed as a parameter to multiple writer or reader instances.

Example 5: Read CSV files using dialect

Suppose we have a CSV file (office.csv) with the following content:

 "ID"| "Name"| "Email" "A878"| "Alfonso K. Hamby"| "[email protected]" "F854"| "Susanne Briard"| "[email protected]" "E833"| "Katja Mauer"| "[email protected]" 

The CSV file has initial spaces, quotes around each entry, and uses a | delimiter.

Instead of passing three individual formatting patterns, let's look at how to use dialects to read this file.

 import csv csv.register_dialect('myDialect', delimiter='|', skipinitialspace=True, quoting=csv.QUOTE_ALL) with open('office.csv', 'r') as csvfile: reader = csv.reader(csvfile, dialect='myDialect') for row in reader: print(row) 

Output

 ('ID', 'Name', 'Email') ("A878", 'Alfonso K. Hamby', '[email protected]') ("F854", 'Susanne Briard', '[email protected]') ("E833", 'Katja Mauer', '[email protected]') 

From this example, we can see that the csv.register_dialect() function is used to define a custom dialect. It has the following syntax:

 csv.register_dialect(name(, dialect(, **fmtparams))) 

The custom dialect requires a name in the form of a string. Other specifications can be done either by passing a sub-class of Dialect class, or by individual formatting patterns as shown in the example.

While creating the reader object, we pass dialect='myDialect' to specify that the reader instance must use that particular dialect.

The advantage of using dialect is that it makes the program more modular. Notice that we can reuse 'myDialect' to open other files without having to re-specify the CSV format.

Read CSV files with csv.DictReader()

The objects of a csv.DictReader() class can be used to read a CSV file as a dictionary.

Example 6: Python csv.DictReader()

Suppose we have a CSV file (people.csv) with the following entries:

Name	Age	Profession
Jack	23	Doctor
Miller	22	Engineer

Let's see how csv.DictReader() can be used.

 import csv with open("people.csv", 'r') as file: csv_file = csv.DictReader(file) for row in csv_file: print(dict(row)) 

Output

 ('Name': 'Jack', ' Age': ' 23', ' Profession': ' Doctor') ('Name': 'Miller', ' Age': ' 22', ' Profession': ' Engineer') 

As we can see, the entries of the first row are the dictionary keys. And, the entries in the other rows are the dictionary values.

Here, csv_file is a csv.DictReader() object. The object can be iterated over using a for loop. The csv.DictReader() returned an OrderedDict type for each row. That's why we used dict() to convert each row to a dictionary.

Notice that we have explicitly used the dict() method to create dictionaries inside the for loop.

 print(dict(row)) 

Note: Starting from Python 3.8, csv.DictReader() returns a dictionary for each row, and we do not need to use dict() explicitly.

The full syntax of the csv.DictReader() class is:

 csv.DictReader(file, fieldnames=None, restkey=None, restval=None, dialect='excel', *args, **kwds) 

To learn more about it in detail, visit: Python csv.DictReader() class

Using csv.Sniffer class

The Sniffer class is used to deduce the format of a CSV file.

The Sniffer class offers two methods:

• sniff(sample, delimiters=None) - This function analyses a given sample of the CSV text and returns a Dialect subclass that contains all the parameters deduced.

An optional delimiters parameter can be passed as a string containing possible valid delimiter characters.

• has_header(sample) - This function returns True or False based on analyzing whether the sample CSV has the first row as column headers.

Let's look at an example of using these functions:

Example 7: Using csv.Sniffer() to deduce the dialect of CSV files

Suppose we have a CSV file (office.csv) with the following content:

 "ID"| "Name"| "Email" A878| "Alfonso K. Hamby"| "[email protected]" F854| "Susanne Briard"| "[email protected]" E833| "Katja Mauer"| "[email protected]" 

Let's look at how we can deduce the format of this file using csv.Sniffer() class:

 import csv with open('office.csv', 'r') as csvfile: sample = csvfile.read(64) has_header = csv.Sniffer().has_header(sample) print(has_header) deduced_dialect = csv.Sniffer().sniff(sample) with open('office.csv', 'r') as csvfile: reader = csv.reader(csvfile, deduced_dialect) for row in reader: print(row) 

Output

 True ('ID', 'Name', 'Email') ('A878', 'Alfonso K. Hamby', '[email protected]') ('F854', 'Susanne Briard', '[email protected]') ('E833', 'Katja Mauer', '[email protected]') 

As you can see, we read only 64 characters of office.csv and stored it in the sample variable.

This sample was then passed as a parameter to the Sniffer().has_header() function. It deduced that the first row must have column headers. Thus, it returned True which was then printed out.

På samma sätt skickades också prov till Sniffer().sniff()funktionen. Den returnerade alla deducerade parametrar som en Dialectunderklass som sedan lagrades i variabeln deduced_dialect.

Senare öppnade vi CSV-filen igen och skickade deduced_dialectvariabeln som en parameter till csv.reader().

Det var korrekt kunna förutse delimiter, quotingoch skipinitialspaceparametrar i office.csv filen utan oss uttryckligen nämna dem.

Obs! Csv-modulen kan också användas för andra filtillägg (som: .txt ) så länge innehållet är i rätt struktur.

Rekommenderad läsning: Skriv till CSV-filer i Python