Конвеєри тестів із самовідновленням

Традиційні набори тестів ламаються при зміні UI. Тести з самовідновленням використовують пам'ять Synapse, щоб вчитися з минулих невдач та адаптуватися — це зменшує flaky-тести та витрати на обслуговування.

Концепція

┌─────────┐  fails   ┌──────────┐  store   ┌──────────┐
│  Test   │ ───────▶ │  Synapse │ ───────▶ │ Memories │
│  Run    │          │  Memory  │          │ (failures)│
└─────────┘          └──────────┘          └──────────┘
                           ▲                     │
                           │   recall            │
                           │  before next run    │
                           └─────────────────────┘

1. Тест запускається
2. Якщо він провалюється, зберегти невдачу (що пішло не так, чому, як виправити)
3. Наступний запуск: відкликати відповідні невдачі перед виконанням
4. Застосувати відомі виправлення автоматично

Реалізація

Крок 1: Обгортка тесту

Обгорніть кожен тест відкликанням/збереженням пам'яті:

import requests
from datetime import datetime

URL = "https://synapse.schaefer.zone"
MIND_KEY = "mk_..."

def self_healing_test(test_name, test_fn):
    """Decorator: wrap a test with self-healing memory."""
    def wrapper():
        # 1. Відкликати минулі невдачі для цього тесту
        past_failures = requests.get(
            f"{URL}/memory/search?q={test_name}+failure",
            headers={"Authorization": f"Bearer {MIND_KEY}"}
        ).json()
        
        # 2. Запустити тест із контекстом невдач
        try:
            test_fn(known_failures=past_failures)
        except Exception as e:
            # 3. Зберегти невдачу
            store_failure(test_name, e, traceback.format_exc())
            raise
    
    return wrapper

def store_failure(test_name, error, traceback_str):
    requests.post(f"{URL}/memory",
        headers={"Authorization": f"Bearer {MIND_KEY}",
                 "Content-Type": "application/json"},
        json={
            "category": "mistake",
            "key": f"test_failure_{test_name}_{datetime.now().isoformat()}",
            "content": f"Test: {test_name}\nError: {error}\nTrace:\n{traceback_str}",
            "tags": ["test", "failure", test_name],
            "priority": "high"
        })

Крок 2: Адаптивна логіка тесту

Усередині тесту перевіряйте відомі невдачі та застосовуйте виправлення:

@self_healing_test
def test_login_page(browser, known_failures=None):
    browser.goto("https://app.com/login")
    
    # Перевірити, чи бачили ми зміну цієї сторінки раніше
    if known_failures and known_failures.get("results"):
        for failure in known_failures["results"]:
            if "button moved" in failure["content"].lower():
                # Використати мітку доступності замість координат
                browser.click(by_label="Login button")
                return
    
    # За замовчуванням: використати координати
    browser.click(x=150, y=400)

Крок 3: Стратегії відновлення

Зберігайте стратегії відновлення як спогади:

def store_recovery(failure_type, strategy):
    requests.post(f"{URL}/memory",
        headers={"Authorization": f"Bearer {MIND_KEY}",
                 "Content-Type": "application/json"},
        json={
            "category": "skill",
            "key": f"recovery_{failure_type}",
            "content": strategy,
            "tags": ["test", "recovery", failure_type],
            "priority": "high"
        })

# Зберегти відновлення для поширених невдач
store_recovery("element_not_found",
    "When element not found by ID, try by CSS class, then by XPath, "
    "then by accessibility label. Take screenshot for debugging.")

store_recovery("timeout",
    "Increase timeout to 30s. If still fails, check if page is loading "
    "dynamically — wait for specific element instead of fixed time.")

store_recovery("stale_element",
    "Re-find element before each interaction. Don't cache element references "
    "across page transitions.")

Крок 4: Інтеграція з CI

# .gitlab-ci.yml
test:self-healing:
  script:
    - export SYNAPSE_MIND_KEY=$SYNAPSE_TEST_MIND_KEY
    - pytest tests/ --self-healing
  after_script:
    # Підсумок нових невдач
    - python scripts/synapse_failure_summary.py

Крок 5: Інформаційна панель аналізу невдач

# Отримати всі невдачі тестів за останній тиждень
r = requests.get(
    f"{URL}/memory/search?q=test+failure",
    headers={"Authorization": f"Bearer {MIND_KEY}"}
)

# Згрупувати за назвою тесту
failures = {}
for mem in r.json().get("results", []):
    test_name = extract_test_name(mem["content"])
    failures.setdefault(test_name, []).append(mem)

# Звіт
for test, fails in sorted(failures.items(), key=lambda x: -len(x[1])):
    print(f"{test}: {len(fails)} failures")

Найкращі практики

Поширені шаблони невдач для збереження

Наступні кроки

• Автоматизоване тестування iOS
• Найкращі практики роботи з пам'яттю
• Куховарська книга відновлення помилок