live.hackr

die romantische komödie


Awk: Remove duplicate lines

awk '!x[$0]++' alt.txt > neu.txt

awk '!x[substr($0,1,32)]++' alt.txt > neu.txt

entfernt Zeilenduplikate, resp. Zeilen mit gleichen ersten 32 Zeichen. (find nicht mehr, wo ich es her hab, poste ich aber mal, weil ich es immer wieder brauche)

meta 20.09.2009 #