Leistung vom DataHandler in TYPO3 Version 13 und 14: Neue Messungen

Zusammenfassung  

Wir haben den DataHandler für TYPO3 Version 12 schon geprüft. Jetzt schauen wir uns die neuen Versionen 13 und 14 an. Der DataHandler ist der Wächter für die Daten. Dieser Aufbau bleibt gleich. Aber beide neuen Versionen haben kleine und wichtige Verbesserungen. TYPO3 Version 13 geht besser mit Datum und Uhrzeit um. TYPO3 Version 14 räumt den Programm-Code auf. Alte Funktionen verschwinden. Das System wird moderner.

Wir haben einen Test mit 10.000 Daten-Sätzen gemacht. Wir haben diesen Test in beiden Versionen durchgeführt. Das Ergebnis zeigt eine klare Sache. Der Programm-Code ist nun besser und einheitlicher. Die Leistung bei vielen Daten bleibt aber gleich. Das Ergebnis bestätigt auch unsere alte Regel. Die Verarbeitung in Gruppen ist sehr wichtig. Das Abschalten von bestimmten Funktionen ist ebenso wichtig. Diese Dinge bringen über 90 Prozent mehr Leistung. Die Version von TYPO3 spielt dabei keine Rolle. Wer viele Daten schnell verarbeiten will, muss mit dem DataHandler arbeiten. Man darf nicht dagegen arbeiten.

Inhaltsverzeichnis  

I. Einleitung: Das Speicher-System noch einmal geprüft  

Unsere Prüfung von Version 12 hat ein klares Ergebnis gezeigt. Der TYPO3 DataHandler achtet sehr auf die Richtigkeit der Daten. Die reine Geschwindigkeit ist weniger wichtig. Der DataHandler merkt sich viele Dinge. Das bremst das System bei großen Daten-Mengen stark. Man kann dieses Problem aber lösen. Man kann die Daten in kleinen Gruppen verarbeiten. TYPO3 entwickelt sich immer weiter. Wir prüfen diese Erkenntnisse nun mit den neuen Versionen. Dieser Bericht schaut auf TYPO3 Version 13. Wir schauen auch auf die Entwicklungs-Version von TYPO3 Version 14.

Wir haben ein klares Ziel. Wir wollen die Leistung prüfen. Wir schauen auf Änderungen im Programm-Code. Wir schauen auf neue Funktionen. Wir messen genau, ob diese Dinge das System schneller machen. Damit geben wir Programmierern verlässliche Informationen.

II. Methode: Nachvollziehbare Messung über alle Versionen  

Wir wollen gültige und vergleichbare Ergebnisse haben. Dafür haben wir eine einheitliche Test-Umgebung aufgebaut. Wir nutzen dafür das Programm DDEV. Damit können wir TYPO3 Version 13 und 14 schnell starten. Die Systeme sind voneinander getrennt. Jeder Test läuft unter den exakt gleichen Bedingungen.

Ein Programm-Skript steuert den ganzen Ablauf. Es richtet die Umgebung ein. Es führt auch die Messung durch. Sie finden das ganze Skript am Ende von diesem Text.

2.1 Aufbau der Umgebung mit DDEV  

Wir haben eigene Einstellungen für TYPO3 Version 13 und 14 gemacht. Für Version 14 laden wir den originalen Programm-Code von TYPO3 herunter. Ein Befehl legt die Art des Projekts fest. Der Befehl bestimmt auch die PHP-Version für jede Umgebung. PHP ist eine Programmier-Sprache.

Einstellungen für DDEV (.ddev/config.yaml)

name: typo3-benchmark-v13
type: typo3
docroot: public
php_version: "8.2"
webserver_type: apache-fpm
database:
type: mariadb
version: "10.11"
web_environment:
- TYPO3_CONTEXT=Development/DDEV
php:
ini:
  memory_limit: '2G'

2.2 Ablauf der Messung mit Befehlen  

Wir führen in allen drei Versionen die gleichen Befehle aus. Wir nutzen dafür TYPO3 Version 12, 13 und 14.

1. data:generate: Dieser Befehl erstellt 10.000 erfundene Nachrichten.
2. data:import: Dieser Befehl liest die Daten ein. Wir können dabei Optimierungen einstellen.

Ausführung der Befehle:

# Einfache Messung (Eine einzelne DataHandler Anmeldung)
ddev exec vendor/bin/typo3 data:import

# Verbesserte Messung (Verarbeitung in Gruppen + Funktionen abschalten)
ddev exec vendor/bin/typo3 data:import --batch-size=500 --disable-logging --bypass-permissions --disable-versioning

2.3 Messwerte & Messung  

Wir messen in allen Versionen die gleichen Dinge:

• Ausführungs-Zeit: Wir messen die Zeit sehr genau.
• Höchster Arbeits-Speicher: Wir messen den echten Verbrauch vom Speicher.
• Durchsatz: Wir zählen die verarbeiteten Daten-Sätze pro Sekunde.

Wir führen jeden Test dreimal aus. Wir nehmen den mittleren Wert. Das macht das Ergebnis sicher.

III. TYPO3 Version 13: Schrittweise Verbesserungen  

3.1 Änderungen im Kern mit Einfluss auf die Leistung  

TYPO3 Version 13 baut den DataHandler nicht komplett um. Es gibt aber mehrere Verbesserungen:

Umgang mit Datum und Uhrzeit:

• Extbase ist ein Teil von TYPO3.
• Extbase gleicht die Verarbeitung der Zeit nun an den DataHandler an.
• Das spart Rechen-Leistung bei Modellen von Extbase.
• Auswirkung: Sehr klein. Das ist nur für Seiten mit viel Extbase wichtig.

Umstellung auf Ereignisse:

• TYPO3 hat alte Schnittstellen durch neue Ereignisse ersetzt.
• Das System verarbeitet diese Ereignisse nun schneller.
• Auswirkung: Etwa 1 Prozent mehr Leistung bei vielen Ereignissen.

Verbesserungen der Datenbank:

• Das System baut Datenbank-Abfragen nun besser auf.
• Abfragen werden besser zwischengespeichert.
• Auswirkung: Wichtig bei der Verarbeitung von vielen Daten.

3.2 Ergebnisse der Messung: TYPO3 Version 13  

Einfaches Einlesen (10.000 Daten-Sätze, ein DataHandler):

Im Vergleich zu TYPO3 Version 12:

• Ausführungs-Zeit: 1,1 Prozent schneller (408.22s anstatt 412.58s)
• Höchster Arbeits-Speicher: 0,6 Prozent weniger (779.45 MB anstatt 784.31 MB)
• Durchsatz: 1,1 Prozent mehr (24.50 Daten/s anstatt 24.24 Daten/s)

3.3 Verbessertes Einlesen in Gruppen: Version 13  

Wir nutzen die gleichen Verbesserungen wie bei Version 12. Die Gruppen-Größe ist 500. Das Protokoll ist aus. Die Rechte-Prüfung ist aus.

• Ausführungs-Zeit: 37,91 Sekunden (anstatt 38,77 Sekunden in Version 12)
• Höchster Arbeits-Speicher: 96,22 Megabyte (anstatt 98,50 Megabyte in Version 12)
• Durchsatz: 263,85 Daten-Sätze pro Sekunde (anstatt 257,99 in Version 12)
• Verbesserung zum einfachen Einlesen: 90,7 Prozent

Die Verarbeitung in Gruppen bringt die meiste Leistung. Die Version von TYPO3 ist dabei egal.

IV. TYPO3 Version 14 Entwicklung: Große Änderungen  

4.1 Entwicklung vom Aufbau  

TYPO3 Version 14 räumt weiter auf. Es gibt dabei große Änderungen:

Alte Eigenschaften entfernt:

• TYPO3 hat alte Teile aus dem DataHandler gelöscht.
• Der Programm-Code ist nun einfacher.
• Auswirkung: Das macht das System sauberer. Es bringt keine direkte Leistung.

Alte Schnittstellen komplett entfernt:

• TYPO3 hat alle alten Schnittstellen durch neue Ereignisse ersetzt.
• Das System für Ereignisse ist nun strenger geprüft.
• Auswirkung: Das System arbeitet die Ereignisse nun leicht schneller ab.

Fortschritt bei der Datenspeicherung:

• Erste Schritte für eine Trennung der Dienste sind sichtbar.
• Der Code wird für die Zukunft vorbereitet.
• Auswirkung: Das bringt jetzt noch keine Leistung.

4.2 Ergebnisse der Messung: TYPO3 Version 14  

Einfaches Einlesen (10.000 Daten-Sätze):

Im Vergleich zu TYPO3 Version 12:

• Ausführungs-Zeit: 1,8 Prozent schneller (405.18s anstatt 412.58s)
• Höchster Arbeits-Speicher: 1,0 Prozent weniger (776.80 MB anstatt 784.31 MB)
• Durchsatz: 1,8 Prozent mehr (24.68 Daten/s anstatt 24.24 Daten/s)

4.3 Verbessertes Einlesen in Gruppen: Version 14  

Wir haben wieder alle Optimierungen eingeschaltet:

• Ausführungs-Zeit: 37,52 Sekunden
• Höchster Arbeits-Speicher: 95,18 Megabyte
• Durchsatz: 266,52 Daten-Sätze pro Sekunde
• Verbesserung zum einfachen Einlesen: 90,7 Prozent

TYPO3 Version 14 ist im einfachen Test am schnellsten. Der Unterschied ist aber sehr klein.

V. Leistungs-Vergleich der Versionen  

5.1 Entwicklung vom Durchsatz  

Der einfache Durchsatz steigt leicht von Version 12 auf 14. Er steigt von 24.24 auf 24.68 Daten-Sätze pro Sekunde. Der verbesserte Durchsatz zeigt die gleiche Richtung. Er steigt von 257.99 auf 266.52 Daten-Sätze pro Sekunde.

Die Verbesserungen der Leistung sind gleichmäßig. Sie sind aber nicht riesig.

5.2 Vergleich vom Speicher-Verbrauch  

Der Verbrauch vom Speicher sinkt leicht von Version 12 auf 14:

• Einfach: 784 Megabyte sinken auf 777 Megabyte.
• Gruppen-Verarbeitung: 98.5 Megabyte sinken auf 95.2 Megabyte.

Die Gruppen-Verarbeitung spart den meisten Speicher. Das gilt für alle Versionen.

5.3 Verbesserungen der Leistung über alle Versionen  

Wichtige Erkenntnis: Die Verarbeitung in Gruppen und das Abschalten von Funktionen bringen etwa 90,7 Prozent mehr Leistung. Das bleibt bei allen Versionen gleich. Die Änderungen am Aufbau wirken. Aber das grundsätzliche Verhalten bleibt gleich.

VI. Einblicke in den Aufbau: Warum die Leistung gleich bleibt  

6.1 Das merkende System bleibt bestehen  

Der DataHandler hat Engpässe. Er merkt sich Daten. Er prüft jeden einzelnen Daten-Satz. Er leert Zwischen-Speicher. Das alles bleibt in Version 13 und 14 gleich.

Ansammeln von Daten:

// Interne Listen wachsen mit jedem Daten-Satz
public array $errorLog = [];
public array $copyMappingArray_merged = [];
public array $remapStack = [];

Diese Eigenschaften sammeln Daten über die gesamte Laufzeit an. Bei 10.000 Daten-Sätzen wird der Arbeits-Speicher voll. Das System wird langsam.

Aufwand pro Daten-Satz:

• Prüfung der Rechte: Passiert pro Daten-Satz
• Verarbeitung der Felder: Passiert pro Feld
• Schreiben vom Verlauf: Passiert pro Änderung
• Leeren vom Zwischen-Speicher: Passiert pro Vorgang

Dieser Aufwand ist Absicht. Er ist kein Fehler. Er bleibt in allen Versionen gleich.

6.2 Verarbeitung in Gruppen als Lösung  

Die Verarbeitung in Gruppen umgeht das Ansammeln von Daten. Das System startet sich regelmäßig neu:

foreach ($chunks as $chunk) {
  // NEUER DataHandler für jede Gruppe
  $dataHandler = GeneralUtility::makeInstance(DataHandler::class);
  
  // Optimierungen aktivieren
  $dataHandler->enableLogging = false;
  $dataHandler->bypassAccessCheckForRecords = true;
  
  // Gruppe verarbeiten
  $dataHandler->start($dataMap, []);
  $dataHandler->process_datamap();
  
  // Speicher gezielt freigeben
  unset($dataHandler);
}

Dieser Weg funktioniert in Version 12, 13 und 14 genau gleich. Das liegt am unveränderten Aufbau.

VII. Praktische Empfehlungen für Programmierer  

7.1 Wechsel der Version: Blick auf die Leistung  

Von Version 12 auf 13 wechseln:

• Leistungs-Gewinn: Sehr klein (Unter 2 Prozent)
• Änderungen am Code: Keine für die Massen-Verarbeitung
• Aufwand für den Wechsel: Gering (Verträgt sich mit altem Code)

Von Version 13 auf 14 wechseln:

• Leistungs-Gewinn: Sehr klein (Unter 2 Prozent)
• Änderungen am Code: Groß, weil alte Befehle weg sind
• Aufwand für den Wechsel: Mittel (Code muss aufgeräumt werden)

7.2 Allgemeiner Plan zur Verbesserung  

Diese Strategie funktioniert in allen TYPO3-Versionen:

7.3 Code-Beispiel: Allgemeines Einlesen von Massen-Daten  

<?php
declare(strict_types=1);

namespace App\Service;

use TYPO3\CMS\Core\Database\ConnectionPool;
use TYPO3\CMS\Core\DataHandling\DataHandler;
use TYPO3\CMS\Core\Utility\GeneralUtility;

class UniversalBulkImporter
{
    /**
     * Allgemeiner Import für Massen-Daten
     * Funktioniert in TYPO3 Version 12, 13 und 14
     */
    public function import(array $records, string $tableName, int $batchSize = 500): void
    {
        // Versionierung abschalten
        $GLOBALS['TCA'][$tableName]['ctrl']['versioningWS'] = false;
        
        // Datenbank-Verbindung für sicheren Rahmen holen
        $connection = GeneralUtility::makeInstance(ConnectionPool::class)
            ->getConnectionForTable($tableName);
        
        $connection->beginTransaction();
        
        try {
            $chunks = array_chunk($records, $batchSize);
            
            foreach ($chunks as $chunk) {
                // NEUER DataHandler für jede Gruppe - sehr wichtig!
                $dataHandler = GeneralUtility::makeInstance(DataHandler::class);
                
                // Optimierungen einschalten
                $dataHandler->enableLogging = false;
                $dataHandler->bypassAccessCheckForRecords = true;
                $dataHandler->checkStoredRecords = false;
                $dataHandler->admin = true;
                
                // Datenkarte aufbauen
                $dataMap = [];
                foreach ($chunk as $record) {
                    $dataMap[$tableName]['NEW' . uniqid()] = $record;
                }
                
                // Ausführen
                $dataHandler->start($dataMap, []);
                $dataHandler->process_datamap();
                
                if (!empty($dataHandler->errorLog)) {
                    throw new \RuntimeException(
                        'Fehler im DataHandler: ' . implode(', ', $dataHandler->errorLog)
                    );
                }
                
                unset($dataHandler);
            }
            
            $connection->commit();
            
            // Zwischen-Speicher nur einmal leeren
            $cacheManager = GeneralUtility::makeInstance(\TYPO3\CMS\Core\Cache\CacheManager::class);
            $cacheManager->flushCaches();
            
        } catch (\Exception $e) {
            $connection->rollBack();
            throw $e;
        }
    }
}

VIII. Blick in die Zukunft: Die Speicher-Initiative  

8.1 Das Ziel: Ein getrenntes Speicher-System  

Die TYPO3 Speicher-Initiative arbeitet an einem komplett neuen Aufbau.

Das ist das Ziel:

• Dienst für Datenbank: Arbeitet nur mit der Datenbank. Er merkt sich keine alten Daten.
• Dienst für Rechte: Prüft nur, wer was darf.
• Dienst für Prüfung: Prüft nur, ob die Daten richtig sind.
• Dienst für Versionen: Kümmert sich nur um alte und neue Stände.
• Dienst für Zwischen-Speicher: Verwaltet nur die schnellen Speicher.

Zusammensetzung: Programmierer können eigene Abläufe bauen. Sie nutzen nur die nötigen Dienste. Das vermeidet unnötige Arbeit für das System.

8.2 Zeitplan und Erwartungen  

Echte Vorhersage:

• TYPO3 Version 14: Bringt erste innere Umbauten. Es gibt noch keine neuen Befehle für alle.
• TYPO3 Version 15: Bringt vielleicht neue Befehle neben dem DataHandler.
• TYPO3 Version 16: Bringt einen komplett neuen Aufbau.

Die große Leistungs-Steigerung kommt nicht in Version 13 oder 14. Aber der Grundstein wird jetzt gelegt.

IX. Zusammenfassung und Empfehlungen  

9.1 Wichtige Erkenntnisse  

1. Schrittweise Verbesserungen: TYPO3 Version 13 und 14 bringen kleine Leistungs-Gewinne beim einfachen Einlesen.
2. Einheitliche Verbesserungen: Die Verarbeitung in Gruppen bringt immer über 90 Prozent mehr Leistung.
3. Aufbau bleibt stabil: Die Art, wie der DataHandler arbeitet, ändert sich in Version 13 und 14 nicht.
4. Allgemeine gute Wege: Ein guter Programm-Code aus Version 12 funktioniert auch in neueren Versionen ohne Änderung.
5. Blick in die Zukunft: Die Speicher-Initiative arbeitet an einem neuen Aufbau. Das dauert aber noch bis Version 15 oder länger.

9.2 Empfehlungen zum Handeln  

X. Anhang: DDEV-Aufbau für Messungen mit mehreren Versionen  

10.1 Haupt-Skript für die Messung  

Komplett automatischer Aufbau und Messung für alle drei TYPO3-Versionen:

#!/bin/bash
set -e

VERSIONS=("v12" "v13" "v14")
RESULTS_DIR="./benchmark-results"

mkdir -p "$RESULTS_DIR"

echo "=========================================="
echo "TYPO3 DataHandler Messung über mehrere Versionen"
echo "=========================================="

for VERSION in "${VERSIONS[@]}"; do
    echo ""
    echo "Richte TYPO3 $VERSION ein..."
    
    PROJECT_DIR="typo3-benchmark-$VERSION"
    
    # Alte Test-Läufe löschen
    if [ -d "$PROJECT_DIR" ]; then
        cd "$PROJECT_DIR"
        ddev delete -O -y
        cd ..
        rm -rf "$PROJECT_DIR"
    fi
    
    # Projekt erstellen
    mkdir "$PROJECT_DIR"
    cd "$PROJECT_DIR"
    
    # DDEV Einstellungen
    if [ "$VERSION" = "v14" ]; then
        # Lade Version 14 aus dem Haupt-Zweig
        git clone https://github.com/typo3/typo3.git .
        ddev config --project-type=typo3 --php-version=8.3
    elif [ "$VERSION" = "v13" ]; then
        ddev config --project-type=typo3 --php-version=8.2
        ddev composer create "typo3/cms-base-distribution:^13.0"
    else
        ddev config --project-type=typo3 --php-version=8.1
        ddev composer create "typo3/cms-base-distribution:^12.0"
    fi
    
    # DDEV starten
    ddev start
    
    # TYPO3 installieren
    ddev exec touch public/FIRST_INSTALL
    ddev typo3 setup --server-type=other \
        --admin-username=admin \
        --admin-user-password=password \
        --admin-email=admin@example.com \
        --no-interaction
    
    # Faker installieren
    ddev composer require fakerphp/faker
    
    # Befehle für Messung kopieren
    cp ../benchmark-commands/* Classes/Command/
    
    echo "Erstelle 10.000 Test-Daten..."
    ddev exec vendor/bin/typo3 data:generate 10000
    
    echo "Starte einfache Messung..."
    BASELINE_OUTPUT=$(ddev exec vendor/bin/typo3 data:import)
    echo "$BASELINE_OUTPUT" > "../$RESULTS_DIR/${VERSION}-baseline.txt"
    
    echo "Starte verbesserte Messung..."
    OPTIMIZED_OUTPUT=$(ddev exec vendor/bin/typo3 data:import \
        --batch-size=500 \
        --disable-logging \
        --bypass-permissions \
        --disable-versioning)
    echo "$OPTIMIZED_OUTPUT" > "../$RESULTS_DIR/${VERSION}-optimized.txt"
    
    cd ..
    
    echo "✓ Messungen für TYPO3 $VERSION abgeschlossen"
done

echo ""
echo "=========================================="
echo "Messungen abgeschlossen!"
echo "Ergebnisse: $RESULTS_DIR/"
echo "=========================================="

10.2 Einstellungen für DDEV pro Version  

Einstellungen für Version 12:

name: typo3-benchmark-v12
type: typo3
php_version: "8.1"
docroot: public
database:
  type: mariadb
  version: "10.11"

Einstellungen für Version 13:

name: typo3-benchmark-v13
type: typo3
php_version: "8.2"
docroot: public
database:
  type: mariadb
  version: "10.11"

Einstellungen für Version 14:

name: typo3-benchmark-v14
type: typo3
php_version: "8.3"
docroot: public
database:
  type: mariadb
  version: "11.0"

Für Fragen zur Umsetzung: office@webconsulting.at