Das Internet & wie Suchmaschinen finden 🔍
Vom Kabel im Boden bis zur perfekten Google-Antwort: in diesem Dokument bauen wir Schritt für Schritt das ganze System auf. Erst die Basics (Pakete, IP, DNS, HTTP), dann die Magie dahinter, wie eine Suchmaschine aus Milliarden Seiten genau die passende findet – mit echter Mathematik (TF-IDF, BM25).
01Was ist das Internet überhaupt?
Spoiler: nicht „die Wolke". Sondern ein riesiger Stapel sehr realer Kabel.
Das Internet ist ein Netzwerk von Netzwerken. Stell dir Millionen kleiner Computer-Inseln vor (deine Schule, dein Zuhause, ein Google-Rechenzentrum), die alle mit Kabeln, Glasfaser und Funk miteinander verbunden sind. Damit sie sich verstehen, benutzen sie alle das gleiche „Verkehrsregelwerk" – die Internet Protocol Suite, kurz TCP/IP.
Die drei Grundideen
Packet Switching
Daten werden in kleine Pakete zerlegt, einzeln verschickt und beim Empfänger wieder zusammengesetzt. Robust gegen Ausfälle.
IP-Adressen
Jedes Gerät hat eine eindeutige Nummer (wie eine Postadresse). Beispiel: 142.250.179.78 = ein Google-Server.
Protokolle
Regeln, wie Geräte sprechen: TCP für zuverlässige Verbindungen, UDP für schnelle, HTTP fürs Web.
02TCP/IP – die Sprache der Pakete
Warum dein YouTube-Video nicht in einem Stück kommt, sondern in tausenden Häppchen.
Wenn du ein Bild lädst (z.B. 2 MB gross), wird es vom Server in viele kleine Pakete à ~1500 Byte zerlegt. Jedes Paket bekommt einen Umschlag mit:
- Zieladresse (deine IP)
- Absender (Server-IP)
- Paket-Nummer (z.B. „Teil 247 von 1382")
- Checksum (eine Quersumme, damit man Fehler erkennt)
Die Pakete suchen sich unabhängig ihren Weg durch das Internet. Paket 5 kann über Zürich nach dir kommen, Paket 6 über Frankfurt – TCP setzt sie am Ende in der richtigen Reihenfolge zusammen und fordert fehlende Pakete erneut an.
03Wie findet dein Browser eine Webseite?
Vom Tippen von lunolabs.ch bis zum fertigen Pixel: 5 Schritte in ~200 Millisekunden.
DNS-Lookup: vom Namen zur Nummer
Du tippst lunolabs.ch. Der Browser fragt den DNS-Server (Domain Name System) – das „Telefonbuch des Internets". Antwort: „lunolabs.ch wohnt bei 185.21.7.32".
TCP-Handshake
Der Browser ruft den Server an: „SYN" → „SYN-ACK" → „ACK". Drei Pakete für „Hallo, hörst du mich? – Ja. – Okay, los geht's." Verbindung steht.
HTTPS-Verschlüsselung (TLS)
Browser und Server tauschen Schlüssel aus. Ab jetzt ist alles zwischen euch verschlüsselt – niemand kann mitlesen, was du anschaust. Das ist das 🔒-Symbol oben in der Adresszeile.
HTTP-Request: „Gib mir bitte die Startseite"
Der Browser schickt: GET / HTTP/1.1. Der Server antwortet mit Status-Code (200 = OK, 404 = nicht gefunden, 500 = Server kaputt) und dem HTML-Code.
Rendering
Der Browser parst HTML, lädt CSS & JS & Bilder (oft parallel), baut den DOM auf, rechnet das Layout, malt die Pixel. Fertig.
04Wie funktioniert eine Suchmaschine?
Google hat (Stand 2024) ~400 Milliarden Seiten indexiert. Wie findet es deine Antwort in 0.3 Sekunden?
Eine Suchmaschine ist im Kern drei Maschinen in einer:
Crawler (Spider)
Ein Bot, der von Link zu Link springt und Webseiten herunterlädt. Bei Google heisst er Googlebot. Läuft 24/7, hat eine Warteschlange mit Milliarden URLs.
Indexer
Zerlegt jede Seite in Wörter und baut einen Inverted Index – eine riesige Tabelle „Wort → welche Seiten enthalten es?".
Ranker
Bei einer Suchanfrage: filtert relevante Seiten aus dem Index und sortiert sie nach Score. Hier kommen TF-IDF und BM25 ins Spiel.
05Der Inverted Index – das geniale Verzeichnis
Der Trick, warum eine Suche in Milliarden Dokumenten so schnell ist wie ein Wörterbuch.
Stell dir vor, du hast drei Mini-Webseiten:
Doc 1
"Lunolabs baut Roboter und 3D-Drucker."
Doc 2
"3D-Drucker drucken Bauteile aus PLA."
Doc 3
"Roboter brauchen Sensoren und Motoren."
Forward Index (normal): jedes Dokument zeigt seine Wörter.
Inverted Index (Suchmaschine): jedes Wort zeigt, in welchen Dokumenten es vorkommt.
| Wort | kommt vor in | Häufigkeit (TF) |
|---|---|---|
| 3d-drucker | Doc 1, Doc 2 | 1, 1 |
| roboter | Doc 1, Doc 3 | 1, 1 |
| Doc 2 | 1 | |
| sensoren | Doc 3 | 1 |
| motoren | Doc 3 | 1 |
| pla | Doc 2 | 1 |
Vorbereitung: Tokenisierung & Stemming
Bevor Wörter in den Index kommen, werden sie aufbereitet:
- Tokenisierung: Text in Wörter zerlegen ("Hallo, Welt!" → [hallo, welt])
- Lowercasing: alles in Kleinbuchstaben ("Roboter" = "roboter")
- Stopwörter entfernen: "der", "die", "und", "ist" tragen kaum Bedeutung
- Stemming: Wortstamm bilden ("Druckern", "Drucker", "drucken" → "druck")
06TF-IDF – „wie wichtig ist ein Wort?"
Die erste richtige Mathematik-Idee hinter modernen Suchmaschinen.
Das Problem: wenn 1'000 Seiten das Wort roboter enthalten, welche ist die beste? TF-IDF beantwortet das mit zwei Zahlen, die multipliziert werden:
TF · Term Frequency
- Wie oft kommt das Wort im Dokument vor?
- Mehr = relevanter (bis zu einem Punkt)
- Beispiel: Doc nennt „Roboter" 8 Mal → hohe TF
IDF · Inverse Document Frequency
- Wie selten ist das Wort im ganzen Index?
- Selten = aussagekräftiger
- „der" kommt überall vor → niedrige IDF
„Quantencomputer" selten → hohe IDF
Die Formel
Mini-Beispiel
Du suchst roboter. Du hast einen Index mit N = 1'000'000 Seiten. Das Wort kommt in df = 50'000 Seiten vor.
Doc A nennt „Roboter" 6 Mal → tf = 6 → tfidf = 6 × 3.0 = 18
Doc B nennt „Roboter" 1 Mal → tf = 1 → tfidf = 1 × 3.0 = 3
Doc A „gewinnt", auch wenn beide das Wort enthalten.
07BM25 – TF-IDF, aber schlauer
Der Algorithmus, der jahrzehntelang in Google, Bing und Elasticsearch die Suche dominiert hat.
BM25 (Best Matching 25, weil es die 25. Variante einer Forschungsreihe war) ist eine direkte Verbesserung von TF-IDF. Es löst zwei Probleme:
- Sättigung – nach ein paar Wiederholungen bringt's nichts mehr (5x „Roboter" ist gut, 500x ist Spam, kein Mehrwert).
- Dokumentlänge – ein 50-Wörter-Tweet mit 3x „Roboter" ist relevanter als ein 50'000-Wörter-Buch mit 3x „Roboter".
Die Formel
k₁ ≈ 1.2 – 2.0 (steuert Sättigung) · b ≈ 0.75 (steuert Längen-Normalisierung)
Sieht wild aus, ist aber im Kern TF-IDF mit zwei Zusatz-Knöpfen:
| Knopf | Bedeutung | Effekt |
|---|---|---|
| k₁ | Sättigung der TF | Niedriger = schneller "genug". Bei k₁=1.2 bringt das 10. Vorkommen kaum mehr. |
| b | Längen-Normalisierung | b=0: Länge egal · b=1: kürzere Docs stark bevorzugt · b=0.75: guter Mittelwert. |
| idf(t) | Wort-Seltenheit | Identisch wie bei TF-IDF, aber mit einer geglätteten Variante. |
Visualisierung der Sättigung
Wo BM25 heute läuft
- Elasticsearch / OpenSearch – Standard-Ranking (du als Entwickler triffst BM25 sofort, wenn du eine Suche in eine App einbaust)
- Apache Lucene / Solr – die Engines, die viele Websites darunter benutzen
- Wikipedia-Suche, Stack Overflow, viele E-Commerce-Sites
- Hybride RAG-Pipelines für LLMs – BM25 für die schnelle Vorauswahl, dann ein Embedding-Modell zum Feintuning
08Was kommt nach BM25? (Ausblick)
Wo die moderne KI-Suche hingeht – als Vorgeschmack.
BM25 versteht nur exakte Wörter. Sucht man „Auto", findet es keine Seite, die nur über „PKW" oder „Fahrzeug" spricht. Hier kommen Embeddings ins Spiel: jedes Wort (oder ganzer Satz) wird in einen Vektor aus ~768 Zahlen verwandelt. Wörter mit ähnlicher Bedeutung haben ähnliche Vektoren.
Sparse Retrieval (BM25)
Schnell, exakt, erklärbar. Versteht aber keine Synonyme. Bestens für IDs, Namen, Codes.
Dense Retrieval (Embeddings)
Versteht Bedeutung, findet Synonyme & Paraphrasen. Aber langsamer, teurer, blackbox-iger.
→ Wenn du tiefer rein willst, schaut euch im advanced_ai · LLMs die Sektion zu Embeddings & RAG an.
🎯Key Takeaways
- Das Internet ist ein Netzwerk von Netzwerken – Pakete reisen unabhängig über Kabel, Glasfaser und Funk.
- TCP/IP ist das Regelwerk: Pakete bekommen Adressen, Nummern, Checksums – und werden am Ziel wieder sortiert.
- DNS übersetzt Namen wie
lunolabs.chin IP-Adressen. HTTP/HTTPS regelt den Web-Verkehr selbst. - Eine Suchmaschine besteht aus Crawler → Indexer → Ranker.
- Der Inverted Index macht Suche so schnell wie das Stichwortverzeichnis eines Buches.
- TF-IDF = wie oft ein Wort in einem Dokument vorkommt × wie selten es global ist.
- BM25 ist TF-IDF mit zwei Knöpfen (
k₁für Sättigung,bfür Doc-Länge) und ist bis heute überall im Einsatz. - Moderne KI-Suche kombiniert BM25 mit Embeddings = hybrid retrieval.
💭Reflexion & Next Steps
Drei Fragen zum Mitnehmen – ADHD-friendly: kleine Schritte, keine Hausaufgaben.
Beobachte deine eigene Suche
Öffne Google. Gib eine Frage ein. Schau die ersten 3 Treffer an. Frage dich: Warum stehen genau diese oben? Welche Wörter aus deiner Anfrage tauchen wie häufig auf?
Bau einen Mini-Index
Nimm 3 Texte (z.B. drei Wikipedia-Absätze), schreib mit Stift & Papier den Inverted Index dazu. Sucht ein Wort – wie schnell findest du es ohne Index? Mit?
Probier BM25 live
Im Browser-Lab: Elastic's BM25-Visualizer. Schiebe k₁ und b – beobachte, wie sich Rankings ändern. Das fühlt sich an wie ein Mischpult für Suche.