Jämföra likhet mellan strängar

Rensa data i SQL Server-databaser

Miriam Antona

Software Engineer

Beskriva problemet

Stökiga strängar

| airport_state |
|---------------|
| Caalifornia   |
| California    |
| Californiaa   |
| Illinois      |
| Ilynois       |
| Tejas         |
| Texas         |

SOUNDEX

DIFFERENCE

SOUNDEX

SOUNDEX ( character_expression )

Fonetisk algoritm
Returnerar en fyrteckenskod
Baserad på engelska, men fungerar även för många ord i andra språk

SELECT SOUNDEX('Illinois') AS soundex_code1;
SELECT SOUNDEX('Ilynois') AS soundex_code2;
SELECT SOUNDEX('California') AS soundex_code3;

| soundex_code1 |   | soundex_code2 |   | soundex_code3 |
|---------------|   |---------------|   |---------------|
| I452          |   | I452          |   | I416          |

SOUNDEX – så fungerar det

Exempel: "Illinois"

Skriver ordets första bokstav
Ersätter vokaler och bokstäverna "h", "w", "y" efter första bokstaven med noll (0)

"Illinois" -> I

"Illinois" -> Ill0n00s

SOUNDEX – så fungerar det

Exempel: "Illinois"

Ersätter konsonanter efter första bokstaven

SOUNDEX – så fungerar det

Exempel: "Illinois"

Ersätter konsonanter efter första bokstaven

Bokstäver	Representeras av
b, f, p, v	1
c, g, j, k, q, s, x, z	2
d, t	3
l	4
m, n	5
r	6

"Ill0n00s" -> I4405002

SOUNDEX – så fungerar det

Ersätter likadana intilliggande siffror med en
Tar bort alla nollor (0)
Om bokstavens siffra är samma som den första siffran, tas den första siffran bort.
Lägger till nollor om koden innehåller färre än 3 siffror.
Tar bort de sista siffrorna om koden har fler än 3 siffror.

"I4405002" -> I40502

"I40502" -> I452

"I452" (tillämpas ej)

SOUNDEX – undantag

SELECT SOUNDEX('Arizona') AS soundex_code1;
SELECT SOUNDEX('Arkansas') AS soundex_code2;

| soundex_code1 |   | soundex_code2 |
|---------------|   |---------------|
| A625          |   | A625          |

SOUNDEX – kontrollera likheter

SELECT DISTINCT A1.airport_state
FROM airports A1 
INNER JOIN airports A2 
    ON SOUNDEX(A1.airport_state) = SOUNDEX(A2.airport_state)
    AND A1.airport_state <> A2.airport_state

| airport_state |
|---------------|
| Caalifornia   |
| California    |
| Californiaa   |
| Illinois      |
| Ilynois       |
| New Jersey    |
| New York      |
| Tejas         |
| Texas         |

SOUNDEX – kontrollera likheter

SELECT DISTINCT A1.airport_state
FROM airports A1 
INNER JOIN airports A2 
    ON SOUNDEX(REPLACE(A1.airport_state, ' ', '')) = SOUNDEX(REPLACE(A2.airport_state, ' ', ''))
    AND A1.airport_state <> A2.airport_state

"New York" -> "NewYork"

| airport_state |
|---------------|
| Caalifornia   |
| California    |
| Californiaa   |
| Illinois      |
| Ilynois       |
| Tejas         |
| Texas         |

DIFFERENCE

DIFFERENCE ( character_expression , character_expression )

Jämför två SOUNDEX-värden
Returnerar ett värde från 0 till 4
- 0 -> liten eller ingen likhet
- 4 -> mycket lika eller identiska

DIFFERENCE

SELECT DIFFERENCE('Illinois', 'Ilynois') AS dif_1;

| dif1 |
|------|
|  4   |

SELECT DIFFERENCE('Illinois', 'California') AS dif_2;

| dif2 |
|------|
| 1    |

DIFFERENCE – kontrollera likheter

SELECT DISTINCT A1.airport_state, A2.airport_state
FROM airports A1 
INNER JOIN airports A2 
    ON DIFFERENCE(REPLACE(A1.airport_state, ' ', ''), REPLACE(A2.airport_state, ' ', '')) = 4
    AND A1.airport_state <> A2.airport_state

| airport_state | airport_state |
|---------------|---------------|
| Caalifornia   | California    |
| Caalifornia   | Californiaa   |
| California    | Caalifornia   |
| California    | Californiaa   |
| Californiaa   | Caalifornia   |
| Californiaa   | California    |
| Illinois      | Ilynois       |
| Ilynois       | Illinois      |
| Massachusetts | Michigan      |
| Tejas         | Texas         |
| Texas         | Tejas         |

Nu kör vi en övning!

Rensa data i SQL Server-databaser