Zrób Sobie Firmę

Handel to zaufanie, a nie bezpieczeństwo. Ludzie będą postępować z innymi lub nie, na podstawie wiary, a nie obiektywnych szczegółów technicznych, a na arenie handlu działają na podstawie zaufania. Zaufanie jest zasadniczo subiektywne; może być poparta procesami, które obiektywnie zasługują na to zaufanie, ale dominuje subiektywność. Zaufanie niekoniecznie będzie bezwarunkowe; każdego dnia naszego handlowego życia akceptujemy pewne ryzyko, że druga strona nie będzie grać całkowicie uczciwie. Robimy to na podstawie tego, że w sumie odniesiemy więcej korzyści niż będziemy cierpieć. Oczywiście różne środki, które łącznie określa się terminem „bezpieczeństwo”, mają na celu urzeczywistnienie tego zaufania, ale są one aktywatorami, a nie celami samymi w sobie. Jest to prawdopodobnie rozsądne: lepiej polegać na „przeczuciu” wielu klientów niż na przemyślanej opinii pojedynczego pracownika ochrony; nie ma lepszego audytu integralności systemu niż testy zaporowe przeprowadzane przez podmioty zewnętrzne. Co więcej, jest jeszcze jeden powód, dla którego nie powinniśmy zbyt chętnie używać terminu „bezpieczeństwo” w domenie e-biznesu: jest on zbyt mocno związany z bezpieczeństwem wojskowym. Z pewnością podstawowe techniki, algorytmy, są takie same, ale perspektywy i procesy bezpieczeństwa są często bardzo od siebie oddalone. Bezpieczeństwo wojskowe dotyczy ataku z zewnątrz; niemal zawsze zakłada się, że strony zaangażowane w legalną wymianę informacji ufają sobie nawzajem. Tak nie jest w przypadku wolnego handlu. Tak więc, chociaż  będziemy dużo mówić o bezpieczeństwie, należy pamiętać, że prawdziwym problemem jest zaufanie.

Zwiększona dostępność komunikacji elektronicznej wewnątrz i w organizacji oraz między nią a jej partnerami, dostawcami i klientami z pewnością doprowadziła do zalewu nieustrukturyzowanych wiadomości, które nie poddały się tradycyjnym zasadom zarządzania danymi korporacyjnymi i warto zwrócić uwagę na metody zarządzania tą powodzią. Jedna wiadomość jest jasna i musimy zgodzić się z komentarzem IBM, że „relacyjne bazy danych nie są zaprojektowane z myślą o stale rosnących wymaganiach zarządzania wiedzą”. Ale co to jest? Problem, pamiętajmy, nie polega na przechowywaniu danych, ale na dostarczeniu nam z powrotem wybranych ich części, z dobrą precyzją i odtworzeniem oraz z dobrym wyobrażeniem o granicach ich działania. Musimy być w stanie zintegrować różne dane wejściowe do organizacji oraz integrację różnych systemów przechowujących te dane. Ale ta integracja nie jest pozbawiona problemów. Wiąże się to z wysoką ceną próby radzenia sobie z niejednorodnością na wszystkich poziomach, od wtyczki i gniazda po głęboką semantykę modelu informacyjnego. Tradycyjne relacyjne bazy danych mają przynajmniej zaletę konsensusu co do modelu danych, zwykle pewnego rodzaju kontroli jakości danych i dobrze zdefiniowanego interfejsu zapytań, na przykład SQL, który przeprowadza wyszukiwanie informacji zgodnie z ogólnie rozumianymi zasadami przez użytkowników. Alternatywy, jakaś forma metainformacji lub podejście do zrozumienia maszyny wyższej warstwy nie są jeszcze sprawdzone. Widzieliśmy wiele z nich w powyższych sekcjach i wszystkie odniosły sukcesy. Musimy jednak być ostrożni; duża część reklam otaczających rozwiązania tego problemu przez sztuczną inteligencję jest, mówiąc uprzejmie, myląca. Tak, istnieją działające przykłady inteligentnego oprogramowania, które potrafi wykrywać listy reklamacyjne; istnieją nawet systemy, które zapewniają dość dokładne przyjmowanie zamówień za pomocą rozpoznawania mowy. Ale wszystkie one działają w dość ograniczonych środowiskach, na wybranych i zwykle dość wąskich zestawach danych. „Inteligencja” stojąca za udanymi systemami jest bardzo szczątkowa. Trzeba powiedzieć, że istnieje poważny, prawie całkowity brak teorii lub algorytmu, które można opisać jako wykazujące prawdziwe zrozumienie przez maszynę złożonych danych. Osiągnięcie produktu sztucznej inteligencji powinno być oceniane wyłącznie na podstawie jego ciągłej wydajności i wartości na własnym zbiorze danych przez pewien okres, a nie na podstawie twierdzeń dotyczących jego IQ. Powinien być traktowany jak ludzki analityk, a jego wyniki są bezpośrednio porównywane z wynikami ludzkich konkurentów i odpowiednio nagradzane. W krótkim okresie być może bardziej skromne podejście może przynieść bardziej użyteczne wyniki.

Chociaż z tego, co do tej pory powiedzieliśmy, zadanie automatycznego rozumienia danych tworzonych przez innych bez względu na wyraźne konwencje danych i metainformacje może wydawać się trudnym zadaniem, nie zawsze jest tak trudne, jak mogłoby się wydawać. Istoty ludzkie rzeczywiście wnoszą specjalne umiejętności do zrozumienia istoty dokumentów, ale kiedy to robimy, zwykle polegamy również na wielu bardziej przyziemnych cechach. Tworzenie dokumentów, czy to raportów technicznych, broszur sprzedażowych czy gazet, zwykle odbywa się zgodnie z kilkoma konwencjami. Nagłówki banerowe obejmują najważniejsze i ogólne tematy, a bardziej szczegółowe kwestie pojawiają się pod nimi mniejszą czcionką. Raporty giełdowe posługują się reportażem praktycznie stereotypowym w terminologii i strukturze zdań. Strony internetowe są zróżnicowane ze względu na ich funkcje: często nie jest trudno wybrać stronę zawierającą produkty i ich ceny. Jedna nadzieja na automatyczne pozyskiwanie informacji opiera się na przekonaniu, że to konwencjonalne zachowanie może zostać sklasyfikowane, a nawet wyuczone przez maszyny. Odnotowano pewne sukcesy. W części 4 Marketing elektroniczny opisujemy, w jaki sposób reklamy mogą być wykrywane na stronach internetowych i odrzucane. Wspominamy również o sztucznych agentach handlowych, od których normalnie oczekuje się, że będą handlować w ramach dobrze uwarunkowanego procesu zdefiniowanego przez DTD, ale mogą być w stanie przeprowadzić oportunistyczne polowanie na okazje gdzie indziej.

Jak dotąd omawiane przykłady koncentrowały się na temacie tekstu, a nie na otaczających go dodatkowych „metainformacjach”. Często jest to niepotrzebnie trudny problem do rozwiązania; rzeczywiście, w przypadku własnych danych strategią powinno być uniknięcie konieczności stosowania sztucznej inteligencji, jeśli to możliwe, poprzez zapewnienie kompletnej i dobrze zdefiniowanej struktury metadanych, w którą dane będą opakowywać. Oczywistym tego przykładem jest XML, o którym wspomnieliśmy wcześniej. Jeśli wszystkie zarządzane elementy w firmowym zbiorze danych są zawarte w zdefiniowanych znacznikach, będzie oczywiste, że wszystko pomiędzy ,org. i ,/org. to na przykład organizacja, a nie kod pocztowy. (Pod warunkiem, że tagi zostały zdefiniowane w DTD.) Często jednak musimy analizować dane stare lub dane, nad którymi nie mamy pełnej kontroli. Dane te mogą nadal zawierać pewne informacje strukturalne, chociaż nie pasują do naszego modelu informacyjnego. Załóżmy na przykład, że chcemy wyodrębnić nazwy organizacji z „zagranicznej” bazy danych. Jest oczywiste, że jeśli znajdziemy nagłówek kolumny z nagłówkiem „organizacja”, „firma” itp., to dane, które następują po niej, są prawdopodobnie zbiorem nazw. Być może mniej oczywisty jest fakt, że tę samą strategię możemy zastosować do stron internetowych

Poniże kod HTML

Tagowanie w dokumencie jednoznacznie dzieli wiersze w tabeli na dwa, używając ,td. (dane tabeli) i ,tr. znaczniki wierszy i można również zauważyć, że nazwy „ABC” i „DEF” znajdują się pod nagłówkiem „NAZWA ORGANIZACJI”. Stosunkowo nieinteligentny program, napisany prawdopodobnie w języku takim jak PERL, mógłby zostać użyty do sprawdzenia stron internetowych pod kątem tabel zawierających nagłówki, takie jak „ORGANIZACJA” itp., i wyodrębnienia wszystkich wpisów, które mieszczą się w tych nagłówkach. Opracowania tego podejścia można wykorzystać jako sposób na przekształcenie danych on-line tymczasowego partnera na format, który można przetwarzać w ramach architektury danych innej organizacji. Może być również używany jako sposób na gromadzenie informacji marketingowych

Często problem nie polega na znalezieniu dokumentu, ale na przejrzeniu go w celu sprawdzenia, czy zawiera coś wartościowego. Chcielibyśmy prostego sposobu na stworzenie automatycznego streszczenia, które uchwyci istotę tekstu, w znacznie mniejszej ilości słów, formę automatycznej, precyzyjnej maszyny, która mogłaby wybrać dla nas tylko „kluczowe” zdania. Co rozumiemy przez „klucz”? Oczywiście istnieje wiele możliwych definicji, niektóre wymagają głębokiej interpretacji znaczenia, inne po prostu badają statystyczne relacje między fragmentami tekstu. Spójrzmy na przykład tego ostatniego:

† Załóżmy, że mamy tekst składający się z kilku zdań.

† Weź kolejno każde zdanie i porównaj je z każdym innym zdaniem w tekście.

† Zdania są „podobne” do siebie, gdy mają (powiedzmy) dwa wspólne słowa. (Słowa takie jak „the”, „a” itp. są ignorowane.)

† Za zdania „kluczowe” uznaje się zdania o największej liczbie podobieństw.

Rozważmy na przykład tekst składający się z dziewięciu zdań .

Następnie możemy uszeregować zdania pod względem liczby „podobieństwa”, czyli powiązań, które mają ze sobą:

† Zdanie szóste przypomina jeden, dwa, trzy, cztery, siedem (pięć linków).

† Zdanie czwarte przypomina jeden, sześć, siedem, osiem (cztery linki).

† Zdanie ósme przypomina trzy, cztery, dziewięć (trzy linki).

† Zdania pierwszy, trzeci, siódmy i dziewiąty mają dwa linki.

† Zdanie drugie ma tylko jeden link.

† Zdanie piąte nie ma żadnych podobieństw.

Proces ten tworzy tabelę rankingową zdań pod względem ich typowości do tekstu. Dla dowolnego stopnia podsumowania, po prostu wybieramy od góry te, które mają najwięcej podobieństw, aż osiągniemy pożądaną ilość tekstu. Ta technika podsumowania może być wykorzystana albo do wyświetlenia podsumowania każdego z wielu fragmentów, które chcieliśmy przeszukać, na ograniczonej przestrzeni ekranu, albo do działania jako filtr wstępny do wyszukiwania słów kluczowych.

Zasady opisane do tej pory dotyczyły zachowania poszczególnych słów lub statystycznego związku między słowami, ale bez próby ich gramatycznego powiązania. Nieco bardziej ambitnym podejściem jest wykorzystanie podstawowej właściwości języka: posiadania gramatyki. NLP to wielki tytuł, który można zastosować do dość prostych procesów operujących na wolnym tekście, wykorzystującym podstawowe zasady. Ogólnie rzecz biorąc, oczekujemy, że silnik NLP będzie składał się z dwóch części: leksykonu, który zawiera listę słów, ich „znaczenie” w pewnym sensie oraz ich część wartości mowy (rzeczownik, czasownik itp.) razem ze składnią, zestawem reguł operujących na elementach leksykonu w celu wygenerowania „poprawnych gramatycznie” i „znaczących” fraz i zdań. Aby podać bardzo prosty przykład, leksykon może zawierać:

a regułą może być liczba mnoga ,x. ¼ ,x. 1 „s”. W praktyce prawdziwa gramatyka byłaby bardziej złożona. (Mógłby na przykład poradzić sobie z faktem, że liczba mnoga od „owce” nadal brzmiała „owce”, a nie „owce”, jak sugeruje nasz przykład). Niemniej jednak nawet ten prosty przykład ma pewną moc. Zauważ, że dla części mowy psa podane są trzy możliwości: „dobry pies” (rzeczownik), „dogonić czyjeś ślady” (czasownik), „róża psa” (przymiotnik) i prawdopodobieństwa ich wystąpienia są podane w nawiasach, w oparciu o pomiary w dużej liczbie tekstów, których części mowy zostały oznaczone przez ludzi. Można również gromadzić inne statystyki dotyczące słów i klas słów, na przykład części mowy, i umieszczać je w regułach statystycznych. Na przykład bardzo rzadko słowo „to” pojawia się bezpośrednio przed rzeczownikiem, ale bardzo często przed czasownikiem. Tak więc, ponieważ „pies” dość często występuje jako czasownik (15%), bardzo prawdopodobne jest, że będzie to słowo „piesić czyjeś ślady”.

Porównywalnie proste gramatyki NLP tego typu zostały użyte do analizy danych biznesowych, aby umożliwić bardzo dokładne wyodrębnienie nazw firm, lokalizacji itp. oraz analizę wiadomości e-mail w celu ustalenia, czy są to skargi. Dość inną aplikacją jest parsowanie zapytań wprowadzanych do wyszukiwarki, która odpytuje bazę danych. W tym przypadku parser wykorzystuje techniki NPL, aby poprawić wszelkie błędy popełnione przez osobę tworzącą zapytanie. Parser wykorzystuje gramatykę, która pozwala mu sprawdzić, czy zapytania mają poprawną strukturę i słownictwo, a także może posiadać wiedzę semantyczną o bazie danych, która umożliwia dalszą interpretację. Jednym z przykładów podanych przez jednego sprzedawcę jest parsowanie „6 Pak 12oz Diet Cola”, gdzie twierdzi się, że wiedza semantyczna jest wymagana do oddzielenia rozmiaru butelki od opakowania.

Punktem wyjścia dla większości praktycznych systemów jest próba wyodrębnienia tematu ze źródeł danych. Proces ekstrakcji z konieczności polega na wzięciu dłuższego tekstu i skróceniu go do krótszego. Odbywa się to częściowo w celu poprawy wydajności przetwarzania na kolejnych etapach, ale także dlatego, że ekstrakcja w pewnym sensie dociera do „istoty” dokumentu. Jedna z najprostszych metod polega na sporządzeniu listy poszczególnych słów użytych w tekście. Użytkownicy, którzy proszą o informacje dotyczące tego słowa, mogą otrzymać wszystkie dokumenty, które zawierają to słowo na swoich listach. Proces można ulepszyć, jeśli chodzi o przywoływanie, poprzez sedno: chociaż użytkownicy proszą o informacje na temat „psa”, proces ma bazę danych, która rozszerza termin na „psy”, „psy dwuosobowe”, „pies myśliwski” itp. Prosty doprecyzowanie może polegać na indeksowaniu dokumentów, aby dowiedzieć się, ile razy każde słowo występuje jako ułamek całkowitej długości tekstu. Zwykle wyklucza się wszystkie bardzo popularne słowa, takie jak „the”, „and”, „is” itp., umieszczając je na liście stop, która jest używana przez program indeksujący. Tak więc, biorąc pod uwagę prośbę użytkownika o teksty z „gazem” (powiedzmy), teksty mogą być wymienione w kolejności malejącej częstotliwości, co sprzyja precyzji. Można jednak zrobić więcej, stosując tę ​​prostą strategię uwzględniania liczby słów: możliwe jest opisanie tekstu w kategoriach porównania całej listy z listami wygenerowanymi dla innych dokumentów (rysunek 2.18). Dokument po lewej stronie rysunku to taki, który zainteresował użytkownika. Pokazana jest część jego indeksu słów, w szczególności słowa „lpg”, „oktan”, „gaz”, „auto” wraz z miarą ich częstotliwości występowania. Po prawej stronie znajdują się statystyki dla tych słów uśrednione w całej bazie danych.

Teraz, nawet nie wiedząc, że nastąpiło indeksowanie, użytkownik mógł powiedzieć: „Znajdź więcej dokumentów na ten sam temat”. Wyszukiwarka przeszukuje bazę danych, porównując indeks interesującego dokumentu ze wszystkimi innymi. Rozważmy dwa przypadki takiego porównania, z dokumentami X i Y. Bez uciekania się do skomplikowanej matematyki, możemy zobaczyć, że dokument Y jest „znacznie bardziej podobny” do dokumentu będącego przedmiotem zainteresowania niż średnia lub dokument X. W szczególności zauważamy częste występowanie ‘gas’ ORAZ ‘auto’ zarówno w Y, jak iw interesującym dokumencie. Prawdopodobnie oznacza to, że łączy ich wspólne zainteresowanie „gazem” w kontekście jego amerykańskiego wykorzystania jako „benzyny”. Używając łącznych prawdopodobieństw słów, możemy zacząć definiować dla nich podstawowe „znaczenia” indywidualnie: „gaz” = „benzyna” kontra „gaz” = „gaz ziemny”, ponieważ ten pierwszy ma tendencję do kojarzenia się z takimi rzeczami, jak „samochody”. (= ‘samochody’) zamiast ‘lpg’ = ‘gaz ziemny’. Gdybyśmy przyjrzeli się dokładniej, jak zrobiliśmy to intuicyjnie, odkrylibyśmy, że zasadniczo mierzyliśmy dla każdego dokumentu, jak zmienia się stosunek (częstotliwość w dokumencie)/(średnia częstotliwość we wszystkich dokumentach) dla każdego terminu. Stosunek znacznie większy lub mniejszy niż jeden dla tego terminu oznacza, że ​​jest wysoce nietypowy. Dokumenty, które mają wiele nietypowych cech, prawdopodobnie dotyczą tego samego tematu. Stosunek częstotliwości terminów w dokumencie do średniej częstotliwości jest znany jako miara TF-IDF (Term Frequency Inverse Document Frequency) i jest powszechnie używany do lokalizowania „podobnych” dokumentów. W tym przykładzie dla uproszczenia założyliśmy, że użytkownik prosi wprost o podobne dokumenty i robi to jako pojedyncze zapytanie. W rzeczywistości silniki zarządzania wiedzą zwykle eliminują potrzebę zgłaszania tego żądania przez użytkowników. Wiele z nich jest zaprojektowanych do działania w proaktywnym trybie push: stopniowo tworzą listy preferowanych słów w ramach pozyskiwania profili użytkowników. Listy te są modyfikowane przez sposób użytkowania i okresowe proszenie użytkowników o wyrażenie preferencji. Po uzyskaniu zestawu profili dla każdego użytkownika, system może następnie, bez monitowania, wysyłać użytkownikom wiadomości informujące o nadejściu dokumentów pasujących do profilu.

Przeniesienie interfejsu z klientami z call-center do centrum obsługi poczty e-mail może obniżyć koszty, ale jedynie przenosi ból związany z zarządzaniem z jednej operacji na drugą. Wciąż musi być jakiś sposób na oddzielenie zapytań o informacje od skarg klientów; wciąż musi być sposób, aby na podstawie tych danych zauważyć, że występują problemy z konkretnymi produktami i powiadomić o tym projektantów. Istnieje wiele innych obszarów, w których zwiększona ilość informacji, zarówno w organizacji, jak i w jej obrębie, musi zostać przeanalizowana i zrozumiana, najlepiej przez maszynę. Specjalistyczne firmy w dziedzinie oprogramowania do zarządzania wiedzą zaczynają oferować rozwiązania, które „inteligentnie” analizują dane korporacyjne i kierują je na właściwy obszar do rozwiązania. Mówi się, że możemy decydować o tym, czy informacja jest ważna, jeśli najpierw wiemy, czego ona dotyczy. Pojęcie „około” może wydawać się bardzo abstrakcyjne i trudne do zdefiniowania w formalny sposób, ale coraz częściej firmy konstruują narzędzia do ekstrakcji wiedzy, które mogą tworzyć operacyjnie zadowalające wyjaśnienia dotyczące „około”. Dość dokładnym sposobem myślenia o organizowaniu wiedzy jest rozważenie, że jest ona poddawana wielu zapytaniom, które można sformułować w terminach języka naturalnego, takich jak „Kto jest zaangażowany?”, „O czym to jest?”, „Dlaczego zostało to zrobione?” wyprodukował?”, „Kiedy coś się wydarzyło?”, „Gdzie?”, „Jak (w ramach którego procesu) powstało”, „Ile (lub jakie są liczby)?” Nie jest to szczególnie trudne wymienić kilka sposobów, w jakie można opisać znaczenie elementu danych elektronicznych:

† Według tytułu.

† Przez fragment metainformacji, której definicja została opublikowana.

† Przez kto to napisał.

† Do kiedy zostało napisane.

† Według jego zawartości.

† Poprzez linki do iz niego przez inne elementy.

† Po wyglądzie (kolorowa broszura, arkusz kalkulacyjny itp.).

i są inne. Można zauważyć, że dokumenty nie istnieją tylko w izolacji, ale istnieją w wielu kontekstach, które obejmują ludzi, którzy z nimi pracują i procesy biznesowe, które wspierają i zmieniają się z czasem, a nie są skamieniałościami, które się nie zmieniają. Rysunek wyjaśnia to dokładniej

Na rysunku dokument jest reprezentowany na dwa sposoby. Po pierwsze, przez jego „treść”, która składa się z rdzenia, tematu i wszelkich dodatkowych metainformacji dodanych do niego przez ludzkich lub maszynowych interpretatorów. Po drugie, poprzez swoją historię – w jaki proces był zaangażowany, kto ją przeczytał, umieścił ją w swoim osobistym profilu jako typowy przykład rzeczy, o których chciała usłyszeć i tak dalej. Jest oczywiste, że niektóre z tych informacji są jawnie, nawet świadomie, stosowane w danych: większość raportów w dzisiejszych czasach jest pisana przy użyciu standardowych „stylów” dla różnych poziomów nagłówków itp. większość ma arkusze treści; arkusze kalkulacyjne i bazy danych mają nagłówki kolumn, które w pewien sposób odnoszą się do korporacyjnych modeli danych i słowników; czasami autorzy lub tłumacze stosują słowa kluczowe do dokumentu, w HTML lub XML ,meta. definicja; czasami silniki baz danych automatycznie indeksują dowolny tekst dokumentu, wyodrębniając słowa i ich częstotliwość, które mają działać jako przeszukiwalne maszynowo podsumowanie dokumentu. Jednak wiele informacji o użyciu dokumentu jest tworzonych w ukryciu (choć nie w zamierzonym sensie). Jeśli to ma być użyte jako część dowodu na temat około, to również musi być wpisane do metaopisu i aktualizowane tak często, jak to konieczne. Zatem podstawowym zadaniem rozwiązań do zarządzania wiedzą jest integracja szeregu zbiorów danych generowanych przez procesy poprzez oznaczanie ich etykietami indeksowymi i informacjami źródłowymi, a następnie obserwowanie późniejszej historii danych i ciągłe aktualizowanie tego rekordu wraz z wykorzystaniem silniki wnioskowania, wyposażone w szczątkową inteligencję, które próbują osiągnąć prostą parę celów:

1 Dostarcz wszystkim właściwym osobom wszystkie dane ważne i istotne dla ich obszaru pracy (wymóg wycofania).

2 Bez dostarczania niczego, co nie jest konieczne (precyzja wymogu).

Ogólnie rzecz biorąc, istnieje wzajemna zależność między precyzją a wydajnością procesu wyszukiwania informacji

Zauważ, że może to utrudnić porównywanie systemów wyszukiwania wiedzy. Niektórzy mogą błędnie dawać za dużo, inni wolą dawać mniej, z szansą na utratę czegoś ważnego. Ponownie wybór nie jest absolutny; będzie to zależeć od aktualnych wymagań obecnej populacji użytkowników, biorąc pod uwagę dzisiejszy zestaw danych.

Coraz częściej dostawcy oferują rozwiązania, w których część rozpoznawania istotnych wzorców jest realizowana przez komputer. Zamiast po prostu odpowiadać na zestawy zapytań generowanych przez użytkowników i opartych na hipotezach użytkownika, bardziej zaawansowane systemy mogą same przeprowadzać eksploracyjną analizę danych, tworząc same hipotezy i grupując dane w znaczące lub przynajmniej przydatne wzorce. Tym wzorom zazwyczaj przypisuje pewien statystyczny poziom dokładności. Na przykład sprzedawca detaliczny może chcieć znaleźć „odpowiednie” wzorce cech klientów w danym obszarze kodu pocztowego. Następnie zażądają od inteligentnego oprogramowania „znalezienia wzorców związanych z obszarem pocztowym X”. System może odpowiedzieć, obliczając statystyczne współzachowanie szeregu parametrów dla tego obszaru i zwracać regułę, która mówi: „w obszarze X istnieje 83% szans, że osoby powyżej 45 roku życia, które wykupiły od Ciebie ubezpieczenie na życie, pytałem również o ubezpieczenie zdrowotne”. Oczywiście parametry „kod pocztowy”, „wiek”, „ubezpieczenie na życie” (lub ich proste pochodne) muszą być jednostkami lub atrybutami w bazowym modelu danych. Istnieje również możliwość, że oprogramowanie może wygenerować zbyt wiele statystycznych „reguł” tego typu, jeśli po prostu zostanie zaprogramowane na tych liniach. Bardziej satysfakcjonujące jest poproszenie go o opracowanie reguł opisujących nietypowe zachowanie, w naszym przykładzie, być może informujących nas o obszarach z kodem pocztowym, w których zapytania w wieku 45 lat i osób były niezwykle wysokie. Zauważ, że reguły wymienione powyżej są zasadniczo sposobami kompresji dużej liczby zbiorów danych w znacznie bardziej zwartą i wydajną metodę przetwarzania, a ponadto taką, która jest łatwiejsza do zrozumienia dla człowieka. Rozumowanie oparte na regułach ma również tę zaletę, że można je wyrazić formalnie, w kategoriach logicznych, co prowadzi do łatwości programowania. Jak wszystkie systemy, które tworzą ogólne widoki konkretnych danych, jest to jednak przybliżenie i z czasem może wymagać udoskonalenia. (Być może trzeba będzie nawet zrezygnować, jeśli zmienią się okoliczności). Zaawansowane systemy OLAP przeprowadzają powtarzające się kontrole tego typu reguł. Niektóre schematy wręcz „eksperymentują” z regułami, modyfikując ich parametry poprzez dodanie małego elementu losowego (symulowane wyżarzanie) lub łącząc części reguł w sposób analogiczny do rozmnażania płciowego (algorytmy genetyczne). Reguły są „wyraźne”: o ile rozumiemy nazewnictwo języka logicznego, w którym reguła jest napisana, możemy przynajmniej w zasadzie (w praktyce reguła może być dość złożona) zrozumieć jej wyprowadzenie. Istnieją inne potężne techniki, które można wykorzystać do kierowania naszą strategią, które nie pozwalają nam tak łatwo zrozumieć, dlaczego one pracują. To nie jest magia, choć czasami prawie jako taka się sprzedaje. Jednym z przykładów jest sieć neuronowa, która składa się z bardzo dużej liczby prostych, połączonych ze sobą jednostek, które mogą wykonywać funkcje logiczne. Zdolność tych sieci do wykonywania swoich zadań wynika z wysokiego stopnia łączności między nimi, co daje początek innej nazwie tej klasy technik: koneksjonizmowi. Zazwyczaj pojedynczy element w sieci neuronowej zachowuje się w sposób opisany na rysunku

Do elementu neuronowego wprowadza się szereg wyjść innych elementów neuronowych, każdy poprzez element ważący, który zmienia siłę jego działania. Każdy element może mieć inną wagę. Następnie element neuronowy sumuje wszystkie te ważone dane wejściowe i daje wynik, który nie jest ich prostą sumą. W rzeczywistości ma kształt podobny do kształtu „S” pokazanego na rysunku. Ten kształt, który jest zbliżony do sposobu, w jaki zachowuje się neuron biologiczny w mózgu, bardzo słabo reaguje na małe sygnały wejściowe i ma tendencję do nasycania się dużymi. Oznacza to, że w procesach koneksjonistycznych, które tworzą sieć, bardzo małe jest ignorowane, a bardzo duże nie może nadmiernie dominować. Charakter połączenia pokazano na rysunku

Neurony są ułożone w trzech warstwach: warstwa wejściowa, która otrzymuje dane do analizy, warstwa wyjściowa, która daje odpowiedź, na przykład rozpoznanie jednego obiektu wśród wielu, oraz warstwa ukryta. W typowym przykładzie OLAP moglibyśmy chcieć podzielić naszą bazę klientów na tych, którym warto zarządzać kontem, tych, do których należy po prostu wysłać wiadomość e-mail i tych, do których w ogóle nie warto się kontaktować. Mamy szereg przykładowych danych dla każdego z tych typów klientów. Nazywamy to „zestawem treningowym”. Tabela danych może być dość złożona: kod pocztowy, wiek, zawód itp. Każdy z tych wymiarów w tabeli danych jest arbitralnie przypisany do jednego z elementów wejściowych sieci. Nasz przykład będzie miał trzy neurony wyjściowe, nazwane następująco: 1 = „zarządzaj”, 2 = „poczta”, 3 = „ignoruj”. Zaczynamy od przypisania losowych wartości do wag sieci i wprowadzamy wartości pierwszego rekordu ze zbioru uczącego do warstwy wejściowej. Jest bardzo mało prawdopodobne, że spowoduje to, że tylko jeden węzeł wyjściowy będzie miał dużą wartość. Możliwe jest jednak zastosowanie prostego algorytmu, który po stwierdzeniu, że dane wejściowe odpowiadają typowi klienta, powiedzmy „1”, zmienia wagi w taki sposób, aby pierwsza wartość wyjściowa była większa, a pozostałe dwa mniejsze. wartości. Drugi przykład tej samej klasy obiektów jest stosowany do danych wejściowych i ponownie przeprowadzany jest proces dopasowywania wag. Ostatecznie wagi zbliżają się do stałej wartości, która w pewnym sensie jest zbiorową „pamięcią” typu 1. Możemy przechowywać wagi jako wzorzec rozpoznawania dla typu 1, a następnie powtórzyć proces z przykładami typu 2, a następnie dla typu 3.  Tak więc, kiedy otrzymujemy dane o nowym kliencie, możemy to przetestować na trzech wzorcach i oczekiwać wysokiej wartości wyjściowej od tego, który najlepiej przewiduje preferencje zarządzania klienta. W przytoczonym przykładzie marketingowym sieć została przeszkolona na podstawie dostosowania wag według klasy, do której należał obiekt. W niektórych przypadkach możliwe jest nawet przeprowadzenie „treningu nienadzorowanego”: sieć spontanicznie zaczyna wyodrębniać różne grupy danych odpowiadające różnym klasom obiektów. Brzmi to dość magicznie, ale tak nie jest. Opiera się na tym, że dane z różnych klas obiektów mają właściwości dające się oddzielić. Różnice te mogą być bardzo trudne do dostrzeżenia dla ludzkich obserwatorów lub klasycznych metod statystycznych, ale muszą istnieć. W rzeczywistości jest to jeden z problemów z sieciami neuronowymi: wykrywają one różnice między różnymi klasami obiektów, ale nie zawsze można zobaczyć, dlaczego. Oznacza to, że generalnie nie można użyć sieci neuronowej do wyodrębnienia „cech”, które mogłyby być użyte za pomocą prostszych lub szybszych technik klasyfikacji; oznacza to również, że trudno jest przewidzieć, jak sieć, która poradziła sobie z jedną klasą problemów, poradzi sobie z inną. Sieci neuronowe zostały przyjęte entuzjastycznie po początkowym okresie sceptycyzmu; część (choć nie całość) tego sceptycyzmu powróciła w ostatnich latach.

Biorąc pod uwagę nasze różne bazy danych skonstruowane w sposób, który pozwala nam wykorzystać ich zawartość do pomocy w planowaniu biznesowym, nadal potrzebujemy sposobu na interakcję z nimi w celu uzyskania tych wskazówek. Istnieje wiele sposobów, na które możemy to zrobić, a robiąc to, na różne sposoby możemy podzielić każde „inteligentne” zachowanie między użytkownika-człowieka a maszynę. Najwcześniejsze systemy po prostu wspierały ludzki osąd, umożliwiając tworzenie zapytań i agregacji zgodnie z intuicją użytkownika dotyczącą tego, co było istotne, lub prezentując dane w sposób, który ułatwiał ich interpretację, na przykład poprzez tworzenie wykresów lub wykresy. Jest to nadal bardzo potężna pomoc w ustaleniu, co jest lub nie jest istotne w danych. Proste pakiety, które mogą, na przykład, łączyć monitor aktywności w witrynie sieci Web z arkuszem kalkulacyjnym Excell, mogą być niezwykle skuteczne w identyfikowaniu osób, które regularnie odwiedzają witrynę. Rozszerzeniem tego jest wizualizacja danych, która wykorzystuje zdolność ludzkiego mózgu do wykrywania znaczenia w dwu- lub trójwymiarowych wzorcach. Sukces wizualizacji danych był w ostatnich latach w dużej mierze wynikiem zwiększonej mocy obliczeniowej. Szybsze maszyny oznaczają, że możliwe jest oglądanie dynamicznie zmienionych renderów danych: zmiana i kompresja skal, obracanie trójwymiarowych wykresów danych, lepsza rozdzielczość kolorów i tak dalej. Oznaczało to również, że rozwój narzędzi został uwolniony od wielu ograniczeń wydajnościowych. Oprócz możliwości konstruowania bardziej przyjaznych interfejsów użytkownika oznacza to również, że wiele operacji wizualizacji może być łatwiej potokowych, dzięki czemu operację skalowania można łatwo połączyć na przykład z procedurą kreślenia 3D, a następnie postrzegane w inny sposób. Stratedzy mogą korzystać z tych narzędzi, aby prezentować w czasie rzeczywistym rozgrywanie scenariuszy decydentom w sali konferencyjnej (którzy, nawiasem mówiąc, sami rzadko