Exclude duplicates using awk
cat >> foo.txt << EOF
HELLO
HELLO2
HELLO
HELLO3
HELLO4
EOF
cat foo.txt | awk '!x[$0]++'
HELLO
HELLO2
HELLO3
HELLO4
cat >> foo.txt << EOF
HELLO
HELLO2
HELLO
HELLO3
HELLO4
EOF
cat foo.txt | awk '!x[$0]++'
HELLO
HELLO2
HELLO3
HELLO4