test(data_processing): test cases for data processing functions

app/travel_resolver/libs/nlp/data_processing.py

@@ -3,7 +3,7 @@ import tensorflow as tf
 from tqdm import tqdm
 
 
-def get_tagged_content(sentence: str, tag: str) -> str:
+def get_tagged_content(sentence: str, tag: str) -> str | None:
     """
     Extract the content between two tags in a sentence given the tag.
 
@@ -12,12 +12,18 @@ def get_tagged_content(sentence: str, tag: str) -> str:
       tag (str): The tag to extract the content between.
 
     Returns:
-      str: The content between the tags.
+      str | None: The content between the tags. None if not found
+
+    Raises:
+      ValueError: If tag is not provided or tag not str.
 
     Example:
       >>> get_tagged_content("Je voudrais voyager de <Dep>Nice<Dep> à <Arr>Clermont Ferrand<Arr>.", "<Dep>")
       "Nice"
     """
+    if not tag or not isinstance(tag, str):
+        raise ValueError("tag must be a non-empty string")
+
     tag_match = re.search(rf"{tag}(.*?){tag}", sentence)
     if tag_match:
         return tag_match.group(1)
@@ -144,6 +150,9 @@ def from_tagged_file_to_bio_file(
     with open(output_file, "w") as file:
         sentences = content.split("\n")
         for sentence in tqdm(sentences):
+            # skip empty lines
+            if not sentence:
+                continue
             bio_format = convert_tagged_sentence_to_bio(sentence, tag_entities_pairs)
             file.write(bio_format + "\n")
 

app/travel_resolver/tests/data_processing_test.py

@@ -0,0 +1,104 @@
+import unittest
+from pathlib import Path
+from travel_resolver.libs.nlp.data_processing import (
+    get_tagged_content,
+    process_sentence,
+    convert_tagged_sentence_to_bio,
+    from_tagged_file_to_bio_file,
+    from_bio_file_to_examples,
+)
+
+bio_format_sentence = """Je O
+voudrais O
+voyager O
+de O
+Nice B-LOC-DEP
+à O
+Clermont B-LOC-ARR
+Ferrand I-LOC-ARR
+. O"""
+
+
+class TestDataProcessing(unittest.TestCase):
+    script_dir = Path(__file__).parent
+    test_samples_dir = f"{script_dir}/test_samples"
+
+    def test_get_tagged_content(self):
+        simple_city = "Paris"
+        input_simple = f"I am going to <Dep>{simple_city}<Dep>"
+        result_simple = get_tagged_content(input_simple, "<Dep>")
+        self.assertEqual(result_simple, simple_city)
+
+        composed_city = "Los angeles"
+        input_complex = f"I am going to <Dep>{composed_city}<Dep> and <Arr>London<Arr> <Dep>Paris<Dep>"
+        result_complex = get_tagged_content(input_complex, "<Dep>")
+
+        self.assertEqual(result_complex, composed_city)
+
+        input_empty = "I am going to Paris"
+        result_empty = get_tagged_content(input_empty, "<Dep>")
+
+        self.assertEqual(result_empty, None)
+
+        with self.assertRaises(ValueError):
+            get_tagged_content(input_simple, "")
+
+        with self.assertRaises(ValueError):
+            get_tagged_content(input_simple, 123)
+
+    def test_convert_tagged_sentence_to_bio(self):
+        sentence = "Je voudrais voyager de <Dep>Nice<Dep> à <Arr>Clermont Ferrand<Arr>."
+        tag_entities_pairs = [("<Dep>", "LOC-DEP"), ("<Arr>", "LOC-ARR")]
+
+        result = convert_tagged_sentence_to_bio(sentence, tag_entities_pairs)
+
+        self.assertEqual(result, bio_format_sentence)
+
+    def test_from_tagged_file_to_bio(self):
+        simple_input_file = f"{self.test_samples_dir}/simple_tagged_sentence.txt"
+        expected_file = f"{self.test_samples_dir}/simple_tagged_sentence.bio"
+        output_file = f"{self.test_samples_dir}/output.bio"
+        tag_entities_pairs = [("<Dep>", "LOC-DEP"), ("<Arr>", "LOC-ARR")]
+
+        from_tagged_file_to_bio_file(simple_input_file, output_file, tag_entities_pairs)
+
+        with open(output_file, "r") as f:
+            result = f.read()
+
+        with open(expected_file, "r") as f:
+            expected = f.read()
+
+        self.assertEqual(result, expected)
+
+        multiple_sentences__file = (
+            f"{self.test_samples_dir}/multiple_tagged_sentences.txt"
+        )
+        expected_file = f"{self.test_samples_dir}/multiple_tagged_sentences.bio"
+
+        from_tagged_file_to_bio_file(
+            multiple_sentences__file, output_file, tag_entities_pairs
+        )
+
+        with open(expected_file, "r") as f:
+            expected = f.read()
+
+        with open(output_file, "r") as f:
+            result = f.read()
+
+        self.assertEqual(result, expected)
+
+    def test_from_bio_file_to_examples(self):
+        bio_file = f"{self.test_samples_dir}/multiple_tagged_sentences.bio"
+        text_file = f"{self.test_samples_dir}/multiple_tagged_sentences.txt"
+
+        examples = from_bio_file_to_examples(bio_file)
+
+        self.assertEqual(len(examples), 2)
+
+        with open(text_file, "r") as f:
+            content = f.read()
+            lines = content.split("\n")
+
+            # The number of inputs must be equal to the number of lines before parsing
+            self.assertEqual(len(examples[0]), len(lines))
+            self.assertEqual(len(examples[1]), len(lines))

app/travel_resolver/tests/test_samples/multiple_tagged_sentences.bio

@@ -0,0 +1,279 @@
+Pouvez-vous O
+me O
+donner O
+des O
+informations O
+sur O
+un O
+vol O
+de O
+MAILLY-LE-CAMP B-LOC-DEP
+à O
+TURCKHEIM B-LOC-ARR
+? O
+J'aimerais O
+aller O
+de O
+MAULE B-LOC-DEP
+jusqu O
+' O
+à O
+VINAY B-LOC-ARR
+. O
+Je O
+souhaiterais O
+trouver O
+un O
+itinéraire O
+pour O
+aller O
+de O
+MIGNALOUX-BEAUVOIR B-LOC-DEP
+à O
+BAZOCHES-ET-SAINT-THIBAUT B-LOC-ARR
+. O
+Donne-moi O
+un O
+itinéraire O
+de O
+PONTRIEUX B-LOC-DEP
+jusqu O
+' O
+à O
+LACQ B-LOC-ARR
+. O
+J'aimerais O
+faire O
+un O
+voyage O
+de O
+MOULINS-SUR-YEVRE B-LOC-DEP
+à O
+TARASCON-SUR-ARIEGE B-LOC-ARR
+en O
+utilisant O
+un O
+service O
+de O
+transport O
+en O
+commun O
+. O
+J'ai O
+besoin O
+de O
+directions O
+pour O
+aller O
+à O
+CASTRES B-LOC-ARR
+depuis O
+ARNAGE B-LOC-DEP
+en O
+utilisant O
+les O
+transports O
+en O
+commun O
+. O
+Je O
+voudrais O
+trouver O
+un O
+vol O
+de O
+ROINVILLE B-LOC-DEP
+vers O
+SESSENHEIM B-LOC-ARR
+avec O
+une O
+compagnie O
+aérienne O
+de O
+ballons O
+à O
+air O
+chaud O
+. O
+Comment O
+aller O
+de O
+CASTELNAU-D'ESTRETEFONDS B-LOC-DEP
+à O
+CIRY-SALSOGNE B-LOC-ARR
+? O
+Quels O
+sont O
+les O
+meilleurs O
+itinéraires O
+pour O
+aller O
+à O
+ESCLANEDES B-LOC-ARR
+depuis O
+EOLE-EN-BEAUCE B-LOC-DEP
+? O
+Veuillez O
+me O
+fournir O
+un O
+itinéraire O
+pour O
+me O
+rendre O
+de O
+CINTEGABELLE B-LOC-DEP
+à O
+BEAUTOT B-LOC-ARR
+en O
+utilisant O
+les O
+transports O
+en O
+commun O
+. O
+J'ai O
+besoin O
+d'un O
+itinéraire O
+qui O
+me O
+permette O
+de O
+me O
+rendre O
+de O
+SAINT-BRIEUC B-LOC-DEP
+vers O
+COLLONGES B-LOC-ARR
+. O
+Comment O
+puis-je O
+aller O
+de O
+RAMBOUILLET B-LOC-DEP
+vers O
+MAZEYRAT-D'ALLIER B-LOC-ARR
+en O
+transports O
+en O
+commun O
+? O
+Je O
+souhaiterais O
+me O
+rendre O
+à O
+MONT B-LOC-ARR
+LOZERE I-LOC-ARR
+ET I-LOC-ARR
+GOULET I-LOC-ARR
+, O
+partant O
+de O
+JUZIERS B-LOC-DEP
+. O
+J'ai O
+besoin O
+d'un O
+itinéraire O
+qui O
+me O
+permette O
+de O
+me O
+rendre O
+de O
+AZAY-LE-RIDEAU B-LOC-DEP
+vers O
+SALON-DE-PROVENCE B-LOC-ARR
+. O
+Quels O
+sont O
+les O
+meilleurs O
+itinéraires O
+pour O
+aller O
+à O
+BUCHERES B-LOC-ARR
+depuis O
+SAINT-PIERRE-D'AURILLAC B-LOC-DEP
+? O
+J'aimerais O
+faire O
+un O
+voyage O
+de O
+SAVERDUN B-LOC-DEP
+à O
+VINDRAC-ALAYRAC B-LOC-ARR
+en O
+prenant O
+le O
+métro O
+. O
+Quelle O
+est O
+la O
+meilleure O
+route O
+pour O
+aller O
+à O
+GAZERAN B-LOC-ARR
+en O
+partant O
+de O
+L'ETANG-LA-VILLE B-LOC-DEP
+? O
+J'aimerais O
+aller O
+de O
+ALENCON B-LOC-DEP
+jusqu O
+' O
+à O
+FRANXAULT B-LOC-ARR
+. O
+Je O
+voudrais O
+trouver O
+un O
+vol O
+de O
+LIART B-LOC-DEP
+vers O
+CHANTILLY B-LOC-ARR
+au O
+meilleur O
+prix O
+possible O
+. O
+Quel O
+est O
+le O
+trajet O
+le O
+plus O
+rapide O
+pour O
+aller O
+de O
+SAINT-LO B-LOC-DEP
+à O
+PARIS B-LOC-ARR
+? O
+Je O
+souhaite O
+prendre O
+un O
+taxi O
+de O
+LUNEL-VIEL B-LOC-DEP
+pour O
+aller O
+à O
+MESSEIN B-LOC-ARR
+. O

app/travel_resolver/tests/test_samples/multiple_tagged_sentences.txt

@@ -0,0 +1,20 @@
+Pouvez-vous me donner des informations sur un vol de <Dep>MAILLY-LE-CAMP<Dep> à <Arr>TURCKHEIM<Arr> ?
+J'aimerais aller de <Dep>MAULE<Dep> jusqu'à <Arr>VINAY<Arr>.
+Je souhaiterais trouver un itinéraire pour aller de <Dep>MIGNALOUX-BEAUVOIR<Dep> à <Arr>BAZOCHES-ET-SAINT-THIBAUT<Arr>.
+Donne-moi un itinéraire de <Dep>PONTRIEUX<Dep> jusqu'à <Arr>LACQ<Arr>.
+J'aimerais faire un voyage de <Dep>MOULINS-SUR-YEVRE<Dep> à <Arr>TARASCON-SUR-ARIEGE<Arr> en utilisant un service de transport en commun.
+J'ai besoin de directions pour aller à <Arr>CASTRES<Arr> depuis <Dep>ARNAGE<Dep> en utilisant les transports en commun.
+Je voudrais trouver un vol de <Dep>ROINVILLE<Dep> vers <Arr>SESSENHEIM<Arr> avec une compagnie aérienne de ballons à air chaud.
+Comment aller de <Dep>CASTELNAU-D'ESTRETEFONDS<Dep> à <Arr>CIRY-SALSOGNE<Arr> ?
+Quels sont les meilleurs itinéraires pour aller à <Arr>ESCLANEDES<Arr> depuis <Dep>EOLE-EN-BEAUCE<Dep> ?Veuillez me fournir un itinéraire pour me rendre de <Dep>CINTEGABELLE<Dep> à <Arr>BEAUTOT<Arr> en utilisant les transports en commun.
+J'ai besoin d'un itinéraire qui me permette de me rendre de <Dep>SAINT-BRIEUC<Dep> vers <Arr>COLLONGES<Arr>.
+Comment puis-je aller de <Dep>RAMBOUILLET<Dep> vers <Arr>MAZEYRAT-D'ALLIER<Arr> en transports en commun ?
+Je souhaiterais me rendre à <Arr>MONT LOZERE ET GOULET<Arr>, partant de <Dep>JUZIERS<Dep>.
+J'ai besoin d'un itinéraire qui me permette de me rendre de <Dep>AZAY-LE-RIDEAU<Dep> vers <Arr>SALON-DE-PROVENCE<Arr>.
+Quels sont les meilleurs itinéraires pour aller à <Arr>BUCHERES<Arr> depuis <Dep>SAINT-PIERRE-D'AURILLAC<Dep> ?
+J'aimerais faire un voyage de <Dep>SAVERDUN<Dep> à <Arr>VINDRAC-ALAYRAC<Arr> en prenant le métro.
+Quelle est la meilleure route pour aller à <Arr>GAZERAN<Arr> en partant de <Dep>L'ETANG-LA-VILLE<Dep> ?
+J'aimerais aller de <Dep>ALENCON<Dep> jusqu'à <Arr>FRANXAULT<Arr>.
+Je voudrais trouver un vol de <Dep>LIART<Dep> vers <Arr>CHANTILLY<Arr> au meilleur prix possible.
+Quel est le trajet le plus rapide pour aller de <Dep>SAINT-LO<Dep> à <Arr>PARIS<Arr> ?
+Je souhaite prendre un taxi de <Dep>LUNEL-VIEL<Dep> pour aller à <Arr>MESSEIN<Arr>.

app/travel_resolver/tests/test_samples/simple_tagged_sentence.bio

@@ -0,0 +1,9 @@
+Je O
+voudrais O
+voyager O
+de O
+Nice B-LOC-DEP
+à O
+Clermont B-LOC-ARR
+Ferrand I-LOC-ARR
+. O