D. Kriesel

Bundespolizeihack-Admin in Streifendienst versetzt?

opp — Fri, 03 Feb 2012 17:36:43 +0100

Bundespolizeihack-Admin in Streifendienst versetzt?

Es scheint jetzt rausgekommen zu sein, wohin der hochbegabte Polizeiadmin-Spezialexperte vom gehackten Bundespolizeiserver versetzt wurde: Polizei macht Hausdurchsuchung, erkennt den iMac nicht, und gibt im Protokoll an, dass man aufgrund des fehlenden Computers davon abgesehen hat, Monitor und Tastatur alleine mitzunehmen.

Manchmal weiss man echt nicht, ob man lachen oder weinen soll. Danke an gleich mehrere Leute, die mir das gemailt haben

Logik und diskrete Strukturen, WS 11/12

opp — Thu, 02 Feb 2012 20:22:51 +0100

Logik und diskrete Strukturen, WS 11/12

Auf dieser Seite gibt es etwas inoffizielles Material zur Vorlesung, das durch die Arbeit der Tutoren nebenbei entsteht. Bei nichts davon wird Anspruch auf Vollständigkeit und Korrektheit erhoben, es gilt immer das gesprochene Wort von Rolf Klein. Die Seite wird nach Ende der Vorlesung verschwinden. Das ist rein freiwillig von uns, und dieser Service wird leiden, falls wir einmal keine Zeit dazu haben sollten – also verlasst euch nicht darauf!

Definitionszusammenfassung von David Kriesel

… gibt es wie gewohnt unter diesem Link: http://public.dkriesel.com/luds.pdf

Sie entsteht als Abfallprodukt wenn ich mich auf die VL vorbereite, und erklärt ein paar Sachen auch umgangssprachlicher. Wird unregelmässig unter dem Link geupdated. Ist nicht chronologisch, sondern nach Stoff geordnet.

Musterlösungen zu den Zetteln von Marcel Prinz

… werden hier veröffentlicht, sowie er sie mir zukommen lässt.

Fragenkatalog von Marcel Prinz

Fragen, an denen ihr euch auf die Prüfung vorbereiten könnt. Liste nicht erschöpfend!

Fragenkatalog von Marcel

Vorlesungsmitschrift von Martin Kretschmer

Martin Kretschmer, ein Teilnehmer meiner Übungsgruppen, schreibt eine Vorlesungsmitschrift in LaTeX! Vielen Dank an dieser Stelle! Hier ist der Link: http://dl.dropbox.com/u/7918209/LuDS_Mitschrift_WS11-12.pdf

Wie immer gilt: Keine Gewähr. Jeder ist selbst verantwortlich. Wenn da irgendwelche Fehler drin sind oder die Updates weniger werden, lasst es nicht an Martin aus.

Welcher FAZ-Admin ist denn hier Amiga-Fan? :-)

opp — Tue, 31 Jan 2012 14:32:51 +0100

Welcher FAZ-Admin ist denn hier Amiga-Fan? :-)

Gerade so gesehen auf faz.net. Hier noch ein Link zur Google Cache und hier zum Wikiartikel zum Lemma "Guru Meditation".

Angriff der Rentnergattinnen

opp — Tue, 31 Jan 2012 08:54:47 +0100

Angriff der Rentnergattinnen

Die Frauen von Franz Müntefering und Gerhard Schröder wollen in den Bundestag bzw. Niedersächsischen Landtag und verkünden das auch noch in derselben Woche. Die Welt bezeichnet das als Hillary-Clinton-Effekt.

Update: Nevermind.

Facebook als Evolutionsmechanismus

opp — Mon, 30 Jan 2012 08:38:53 +0100

Facebook als Evolutionsmechanismus

Facebook führt die neue Oberfläche „Timeline“ ein, die Empörung ist groß. Man redet vom Zwang seitens Facebook, es würden „vor allem Facebooks Werbekunden profitieren“, Umfragen werden gestartet, unser Bundesdatenschutzbeauftragter sieht gar ~~den Rubikon~~ die rote Linie überschritten.

Ich kann diese Aufregung nicht mal am Rande nachvollziehen. Ich wiederhole den meines Erachtens wichtigsten Aspekt: Die Timeline entsteht anhand der Daten, die man eingibt. Es ist nicht so, dass Facebook irgendeinen Trojaner auf allen Rechnern installiert, der peinliche Fotos, Bewerbungen und Mails absaugt und daraus nach Zeit geordnet eine Timeline bastelt.

Nein, Facebook arbeitet primär mit dem, was Nutzer freiwillig beitragen. Wer durch Facebook einen Nachteil erleidet, tut das in aller Regel durch private Daten, die er Facebook selbst zur Nutzung übergeben hat. Einem Wirtschaftsunternehmen, mit dem er ansonsten keinerlei Geschäftsbeziehung hat, bei dem er kein Kunde ist, dem er nicht einmal etwas bezahlt! Facebook verdient Geld mit Datensammeln. Wir geben Facebook diese Daten. Die Daten werden ganz nett aufbereitet als Motivation, noch mehr Daten einzugeben. Bestimmungsort der Daten sind aber Facebooks Kunden, und damit insbesondere auch Werbeträger. So ist das Geschäftsmodell.

Facebooknutzer, die relevante, vertrauliche Daten dort eingeben, erinnern mich an Schweine im Mastbetrieb.
Schwein 1: „Mann, ist das nicht toll? Wir müssen keine Miete für die Scheune zahlen!“
Schwein 2: „Jaaaa, der Hammer, selbst das Futter kostet uns nichts!“ (Credits).

Facebooknutzer zahlen nicht. Wer nicht zahlt, ist nicht Kunde, sondern Produkt. Jeder hat das gute Recht, sich dazu zu machen. Aber wenn derjenige dann Nachteile dadurch erleidet, dass irgendein Personaler die Fotos des letzten feuchtfröhlichen Abends bei Facebook sieht (und sei es nur durch einen technischen Fehler, so etwas ist nie unmöglich), ist das in meinen Augen nicht der Empörung wert. Derjenige hat doch öffentlich bewiesen, dass er nach 15 Jahren Internetkommunikation immer noch nicht die Grundlagen verstanden hat. Wer hätte denn damit auch rechnen können, dass er folglich bei der nächsten Restrukturierungsmaßnahme™ besonders berücksichtigt wird (Credits für diesen wunderschönen Begriff gehen an das Dirndl, dass ich hiermit herzlich grüße ).

Im Ernst: Soziale Netzwerke und das Internet als solches gehören nicht zur Privatsphäre. Wer einer fremden Firma Informationen hochlädt, die er nicht auch in jeder Tageszeitung über sich lesen wollen würde, muss sich nicht wundern, wenn die auch gewinnbringend genutzt werden, oder auch an Institutionen weitergegeben, die er nicht mag. Also lasst es. Vielleicht nicht das Hochladen, aber das Wundern. Und wenn ihr es doch tut, beschwert euch wenigstens nicht.

Ich selbst bin übrigens keineswegs ein glühender Facebook-Missionar. Ich nutze es ganz gerne, aber gebe eben auch nichts wichtiges dort ein.

Pacman ist NP-Hart, Prince of Persia ist PSPACE-Complete

opp — Sun, 29 Jan 2012 12:39:57 +0100

Pacman ist NP-Hart, Prince of Persia ist PSPACE-Complete

Giovanni Viglietta von der Universität of Pisa hat sich damit beschäftigt, wie Computerspiele in Komplexitätsklassen eingeordnet werden können. Er hat sich in seinem Paper auf Arxiv nicht nur einzelnen Spielen gewidmet, sondern ein paar grundlegende Theoreme bewiesen, die er dann auf eine Vielzahl von Spielen anwenden konnte.

Das schöne an dem Paper ist, dass heutige Spiele meist mit eigenen Programmiersprachen gescripted sind, die das Design von unentscheidbaren Problemen sofort ermöglichen. Das macht die heutige Spielwelt für die theoretische Analyse eher uninteressant, so dass sich das Paper den ganzen schönen Oldschool-Krachern widmet, die wir auch teilweise vom Amiga oder dem C64 noch kennen Pacman und Prince of Persia habe ich ja schon erwähnt, aber auch Boulder Dash, Doom, Lemmings und viele Klassiker mehr sind mit von der Partie. Und als besonderes Feature gibt es auch: StarCraft. Herrlich!

Näheres zur Megauploads-Anklageschrift

opp — Mon, 23 Jan 2012 22:38:57 +0100

Näheres zur Megauploads-Anklageschrift

Offenbar war Megauploads das Mitarbeiterklima wichtig: “Hohe Angestellte bei Megaupload hatten Zugang zu einer ungefilterten Suchmaschine des gesamten Inhalts“. Da sind noch einige andere witzige Sachen drin, ich empfehle jedem, das mal zur Entspannung zu lesen.

Ich musste jedenfalls laut loslachen als ich gehört habe, dass sie Kimble aus seinem Panikraum herausschneiden mussten, weil er sich aus seiner Villa nicht herausverhaften lassen wollte. Genau so stelle ich mir das Verhalten unseres Bundesschnäppchenjägers in Schloss Bellevue bildlich vor. Ich empfehle dem Sicherheitsdienst dort schon jetzt, für den Fall von Wulffs Rücktritt Hintertüren und Generalpasswörter in eventuell vorhandene Panikräume einzubauen

Advent, Advent

opp — Mon, 23 Jan 2012 20:22:05 +0100

Advent, Advent

… die Drohne brennt. Erst eins, dann zwei, … Aber diesmal alles locker. Die aktuelle ist zwar weniger sauber gelandet als die, die der Iran jetzt hat, aber dafür weiß man, wo sie ist: „Demnach konnte der Flughafen seinen normalen Betrieb fortsetzen, nachdem die Trümmer vom Rollfeld beseitigt worden waren.“

Baby heißt "Admin", wird für immer Probleme mit Benutzernamen haben

opp — Thu, 19 Jan 2012 10:47:03 +0100

Baby heißt "Admin", wird für immer Probleme mit Benutzernamen haben

Außerdem freue ich mich mit Justin-Celvin und der reizenden Damien-Price über die Geburt ihres neuen Schwesterchens, Leesha-Payton! Vielsagend auch der kleine Junge, der vor seiner Kindergärtnerin darauf besteht, den Namen “Pirschelbär“ zu tragen. Ein Anruf bei den Eltern bringt dann Klärung: Der Kleine heisst „Pierre-Gilbert“.

Diese und weitere schöne Namen gibt es auf der Seite “Chantalismus“ – Vorsicht, starker Tobak (Danke, Fee). Oh, und hier noch der Link zum Admin

Swarm behavior, neural computation, photos, thoughts. And an ant colony in a terrarium.

opp — Tue, 17 Jan 2012 13:08:28 +0100

~~DISCUSSION:off~~

Swarm behavior, neural computation, photos, thoughts. And an ant colony in a terrarium.

Things you are not going to find here: Pop-ups, rip-offs, letterbox companies, not even ads. No urge to sign up, to comment, to get in touch with other users. Finally, you've found the place on the web to be just by yourself. Enjoy the time, poke around.

New Site, new Server

As you might have recognized, there have been a few technical issues at this place – for instance, it had become pretty slow (up to 9 secs per request at peak times), and some bug in the old blog engine sometimes seriously messed up the home page layout. Now, there's help:

Software overhaul. I changed the blog engine to BlogTNG, which solved the home page messing up issue. Unfortunately, this changed the feed urls (however, the new ones are already embedded in the pages, so you'll be fine). There may be some issues with the new RSS streams during the first days, sorry for that.

New design and lay-out. Everything (in particular, the home page) is more slick and clean now. I almost completely rewrote the site design and also changed some parts of navigation and lay-out. See for yourselves

New Hardware. The site now got a dedicated dual-core server, so you are free to place load now . I hope we withstand even load peaks without major delays – this hasn't been the case so far.

2012-01-13 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

sitenews

New Release "A Brief Introduction to Neural Networks": Zeta version

The english version has been completely overhauled, the entire manuscript got a dedicated reference implementation (SNIPE), a brand-new resilient propagation section and much more. It's winter term (at least in Germany) and there is a new major release of my manuscript „A Brief Introduction to Neural Networks“. As usual, it is available for download here.

More precisely

The English version has been thoroughly and completely overhauled. Almost every single sentence has been touched. Lots and lots of still present German werds have been removed, clumsy speech has been removed, paragraphs rewritten. Lots of thanks go to Sebastian Merzbach!
SNIPE has been integrated into the manuscript in form of an official reference implementation. In particular throughout chapters 3, 4 and 5 are lots of special shaded paragraphs who guide the reader how to implement their context using Snipe. Despite the easy handling of Snipe classes and methods due to their speaking names, Snipe is really fast and efficient due to its original goal of implementation. Therefore, I hope that the learning success of those readers who read my manuscript for later implementation of neural networks is increased significantly.
The text has been cleaned of unneccessary style elements, e.g. environments like „remark“ or „example“ have been removed. They were still a relict of the times when I tried out lots of things in latex. Of course, the contents of those environments are still there, however the unneccessary structural elements that have been there every few paragraphs are now gone.
Chapter 5: A new section deals with the learning procedure Resilient Propagation as an extensioon of Backpropagatioon fo Error. The arrangement of this chapter has been overworked as well.
Chapters 3, 4, 5: Definitions have been straightened, as well as the text has been.
The preface has been shortened, straightened and more clearly deals with how to read the manuscript in a senseful way.
The cover has been slightly renewed and now, there is a nice QR code.
Lots and lots of small errors have been removed right across the entire manuscript, just because readers sent me e-mails – among those also were technical errors. For example, some diacritical letters could not be found via full-text search, a bug which has been solved.

In particular to the last bullet point I have to state how encouraging your e-mails are. In the mean time, I have been getting e-mails from readers several times a week, providing me feed-back, correcting typos, asking interesting questions or just commendations.

I want to encourage everybody to continue writing me e-mails, because it keeps up my motivation in writing. Every little error you guys are mailing me will be added to my big manuscript todo list and will be implemented in the next release, if appropriate. And of course, you get an answer.

Thanks, and let's continue the good work!

2011-10-21 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

Snipe Version 0.9 released

In this version, the internal data structure of snipe got some flexible extendability features. What's more, the training procedure resilient propagation was overhauled ( this includes an interface change). You can download snipe as usual by going to the snipe page.

More precise information

Dynamic synapse shadows have been added. The data structure was generalized (without slowing it down, no worries). But after all, what is a dynamic synapse shadow? It's pretty easy. In the documentation of Snipe, I mentioned a specially designed, pretty fast and flexible data structure for the storage of synapse data. A shadow now offers an additional double data cell for every single synapse. Arbitrarily many of such shadows can be added. This is very useful for e.g. training procedures like backpropagation, that need to store a learning rate or something els per synapse. Now that we know what a shadow is, the word „dynamic“ remains to explain. If the network gets changed in structure (e.g. by removing a neuron), the shadows will be adapted automatically. At the moment, I implemented several operators to deal with synapse shadows, without really documenting them. However, they will be the fundament for a clean and slick inheritance policy which may be introduced in the next release.
Resilient Backpropagation was overhauled. Note: This update causes a change in interface concerning the method com.dkriesel.snipe.core.NeuralNetwork.trainResilientBackpropagation. A big thank you for the overhaul goes to Martin Westhoven. He not only managed to fix a bug that might have prevented resilient propagation from learning (no other components were influenced), but also implemented a further Rprop-enhancement that you can activate if you like (have a look at the documentation). Furthermore, Rprop has been adapted to the synapse shadow structure.
Several classes are serializable now.

Have a lot of fun!

2011-10-16 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

Nikon Small World Photomicrography Competition

Nice microscope photos of very small living beings, the 38 best of 2000 images! Pretty nice to see. The whole BigPicture-Site is also nice. (Thx, Verena)

2011-10-10 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

Three Nights in Paris

Last week, I have attended a conference in Paris. In the evenings, there was time for some photos, some of which I now post here.

Weiter lesen...

2011-06-19 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

Amazing text about common ground and differences between Germany and USA

Axel Boldt, a German college tracher living in the US, compares his experiences of living in the US and Germany in a nicely readable way. He sheds light on positive and negative aspects to encounter in both of the countries. This is the text I would wish I had written after my US experience in 2007.

2011-05-28 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

germany
usa

New photo ensembles in my office

Our Institute moved again, and as a consequence I have a much larger office now. Thus, my old photo ensembles were not enough to fill the walls. This is why I added two ensembles.

Weiter lesen...

2011-04-08 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

In Soviet Russia, the Particles Accelerate you

Don't try this at home: What happens if you put your head into the beam of a particle accelerator. Wow . TL;DR: This is a shorter article in Wikipedia..

2011-04-08 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

New Zealand 2011: The best 55 of more than 3000 Photos

As promised, I lightroomed some of the – in my opinion – most beautiful photos of New Zealand.

Weiter lesen...

2011-04-06 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

Back in Bonn

We're back Hope I get the top photos chosen and the panoramas chosen soon!

2011-03-08 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

newzealand2011

1 2 3 4 ... 15 16 Ältere Beiträge >

Schwarmverhalten, Neuroinformatik, Photos, Gedanken. Und Ameisen in einem Terrarium.

opp — Tue, 17 Jan 2012 13:07:56 +0100

Schwarmverhalten, Neuroinformatik, Photos, Gedanken. Und Ameisen in einem Terrarium.

Was es hier nicht gibt, sind Popups, Dialer, Gebührenabzocke, Briefkastenfirmen, nicht einmal Werbung. Kein Anmeldezwang, kein Kommentierzwang, Ihr müsst auch keinen Kontakt zu anderen aufnehmen. Ihr seid endlich mal allein. Genießt die Zeit und stöbert etwas herum.

Bundespolizeihack-Admin in Streifendienst versetzt?

Manchmal weiss man echt nicht, ob man lachen oder weinen soll. Danke an gleich mehrere Leute, die mir das gemailt haben

2012-02-03 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

Welcher FAZ-Admin ist denn hier Amiga-Fan? :-)

Gerade so gesehen auf faz.net. Hier noch ein Link zur Google Cache und hier zum Wikiartikel zum Lemma "Guru Meditation".

2012-01-31 | David Kriesel | 1 Kommentar | Permanentlink | Tags:

Facebook als Evolutionsmechanismus

Ich selbst bin übrigens keineswegs ein glühender Facebook-Missionar. Ich nutze es ganz gerne, aber gebe eben auch nichts wichtiges dort ein.

2012-01-29 | David Kriesel | 4 Kommentare | Permanentlink | Tags:

Pacman ist NP-Hart, Prince of Persia ist PSPACE-Complete

2012-01-29 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

Näheres zur Megauploads-Anklageschrift

2012-01-23 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

Baby heißt "Admin", wird für immer Probleme mit Benutzernamen haben

Diese und weitere schöne Namen gibt es auf der Seite “Chantalismus“ – Vorsicht, starker Tobak (Danke, Fee). Oh, und hier noch der Link zum Admin

2012-01-18 | David Kriesel | 1 Kommentar | Permanentlink | Tags:

Neues zum Bundespolizei-Hack

Erinnert ihr euch noch an den Bundespolizeihack, dessen Chronologie ich hier vor einiger Zeit beschrieben habe? Kurzzusammenfassung von damals: Zentraler Server der Bundespolizei war aus mangelndem Fachwissen heraus so gut wie ungesichert (XAMPP), Einbruch in den Server erfolgte, Einbruch wurde jahrelang nicht entdeckt und zum Schluss sprach sich der Bundesvorsitzende der Polizeigewerkschaft auch noch dafür aus, doch im Netz mal offensiver zu werden. In der Folge des Angriffs verteilte der kompromittierte Server verseuchte Software an andere Dienststellen und auch das Zielverfolgungssystem der Bundespolizei musste zeitweise abgestellt werden.

Für alle, die sich bis hier noch nicht genug fremdschämen, berichten mehrere Medien übereinstimmend, dass – neben dem ohnehin vorhandenen Mangel an Fachkenntnis – ein hoher Polizeibeamter maßgeblich zum "Erfolg" des Hacks beigetragen hat. Der hat nämlich den Rechner seiner Tochter mit einem Trojaner verseucht, um sie kontrollieren zu können (alleine das ist rechtlich zumindest schon mal fragwürdig). Ein technisch versierter Freund der Tochter hat den Trojaner bemerkt und ist dann als Retourkutsche in den Rechner des Polizisten eingedrungen. Dort habe er Polizei-interne, vom Polizisten an seine private Mailbox weitergeleitete Mails gefunden, die den Weg zum später gehackten Server geebnet haben sollen.

Da der genannte Server laut Spiegel allerdings gleich mehrfach gehackt wurde, bleibt noch unklar, zu welchem Hack die Hochbegabung des Polizeibeamten jetzt genau beigetragen hat . Weitere Links: Spiegel, Süddeutsche, Gulli.com.

Ob das Benutzerpasswort des Rechners des Polizisten C3PO-r2d2-POE war, ist nicht bekannt.

2012-01-16 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

"Phobos-Grunt könnte abgeschossen worden sein"

Wie ihr ja bestimmt mitbekommen habt, hat uns die russische Raumfahrtagentur gestern (mal wieder) eine sauteure Sternschnuppe geschenkt. Nachdem man für die Sonde selbst nichts mehr tun konnte, geht es in der Diskussion darüber nun primär um die Schuldfrage. Dabei kommen laut New York Times amüsante Sachen raus wie „Speculating last week about possible causes of the latest failure, the director of the Russian space agency said that Phobos-Grunt might have been hit by an antisatellite weapon from an unspecified source while over the Western Hemisphere and out of direct observation from Russia“ oder auch „Western scientists have dismissed as improbable the speculation by a retired Russian general that a powerful radar antenna in Alaska, intended to study the ionosphere, had zapped the Mars probe“. (Danke, Sebastian)

Ich spare mir jetzt, dazu einen Southpark-Dialog herauszusuchen und spekuliere auf fiese, gemeine Aliens, die die Sonde wegen ihrer Hautfarbe attackiert haben.

2012-01-16 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

Colbert nimmt an den Vorwahlen in South Carolina teil :-)

Das kann nur gut werden! Falls jemand nicht weiss, wer Colbert ist, möge er sich das hier eingebette Video ansehen (klickt auf „weiter lesen“) oder seinen Wikiartikel.

Wirklich genial

Weiter lesen...

2012-01-13 | David Kriesel | 1 Kommentar | Permanentlink | Tags:

Neue Seite, neuer Server

Sooo, nachdem die alte Seite mit der Zeit immer langsamer wurde (zu Stoßzeiten 9 Sekunden pro Request, gerade wenn viele Leute gleichzeitig das Script laden) und es auch ein paar andere Probleme gab (kaputte Blogengine, die manchmal das Startseitenlayout zerhackt hat) gibt es jetzt dreifach Abhilfe:

Software-Generalüberholung. Neue Blogengine BlogTNG, also wird die Startseite nicht mehr zerhackt, leider haben sich dadurch die Feed-URLs geändert (die neuen sind in der Seite schon embedded). Mit den neuen RSS-Streams kann es in den ersten Tagen noch ein paar Bugs geben, sorry for that.

Generalüberholung von Design und Layout. Seite (gerade die Startseite) ist jetzt insgesamt aufgeräumter, es gibt ein paar neue Navigationselemente zum besseren durchfinden, das Seitendesign wurde fast komplett neugemacht.

Neue Hardware. Nach Rücksprache mit meinem Provider habe ich jetzt einen schönen dedicated Server mit zwei Kernen – da könnt ihr jetzt ruhigen Gewissens Load produzieren

2012-01-13 | David Kriesel | 0 Kommentare | Permanentlink | Tags:

sitenews

1 2 3 4 ... 22 23 Ältere Beiträge >

Neues zum Bundespolizei-Hack

opp — Mon, 16 Jan 2012 15:59:57 +0100

Neues zum Bundespolizei-Hack

Ob das Benutzerpasswort des Rechners des Polizisten C3PO-r2d2-POE war, ist nicht bekannt.

"Phobos-Grunt könnte abgeschossen worden sein"

opp — Mon, 16 Jan 2012 13:45:40 +0100

"Phobos-Grunt könnte abgeschossen worden sein"

Ich spare mir jetzt, dazu einen Southpark-Dialog herauszusuchen und spekuliere auf fiese, gemeine Aliens, die die Sonde wegen ihrer Hautfarbe attackiert haben.

Colbert nimmt an den Vorwahlen in South Carolina teil :-)

opp — Sat, 14 Jan 2012 16:07:17 +0100

Colbert nimmt an den Vorwahlen in South Carolina teil :-)

Das kann nur gut werden! Falls jemand nicht weiss, wer Colbert ist, möge er sich das hier eingebette Video ansehen (klickt auf „weiter lesen“) oder seinen Wikiartikel.

Wirklich genial

Colbert's Nuclear Explosion

New Site, new Server

opp — Fri, 13 Jan 2012 18:06:04 +0100

New Site, new Server

New Hardware. The site now got a dedicated dual-core server, so you are free to place load now . I hope we withstand even load peaks without major delays – this hasn't been the case so far.

Neue Seite, neuer Server

opp — Fri, 13 Jan 2012 18:05:41 +0100

Neue Seite, neuer Server

Neue Hardware. Nach Rücksprache mit meinem Provider habe ich jetzt einen schönen dedicated Server mit zwei Kernen – da könnt ihr jetzt ruhigen Gewissens Load produzieren

"A Brief Introduction to Neural Networks" published in Epsilon2 Version

opp — Fri, 13 Jan 2012 10:49:11 +0100

"A Brief Introduction to Neural Networks" published in Epsilon2 Version

Right at the start of the winter term, the new Epsilon2 version of the manuscript is published. It is merely a bugfix release, but also contains several technical enhancements that will be used in future chapters.

As usual, the manuscript can be downloaded at the subpage about Neural Networks. The Epsilon2 version merely looks like a bugfix release, because it doesn't feature new chapters (even though lots and lots of small corrections were made throughout the text). However, extensive effort was made „behind the scenes“ as a precondition for more chapters that will follow.

I'd really like to thank the many German and international readers that keep the machinery going by providing useful feedback and corrections! Thank you for your emails. As you can see, I really appreciate and make use of what you have to say!

Where are we going next?

To round off the manuscript, there is still some work to do. In general, I want to add the following aspects:

Implementation and SNIPE: While I was editing the manuscript, I was also implementing SNIPE, a high performance framework for using neural networks with JAVA. This has to be brought in-line with the manuscript: I'd like to place remarks (e.g. „This feature is implemented in method XXX in SNIPE“) all over the manuscript. Moreover, an extensive discussion chapter on the efficient implementation of neural networks will be added. Thus, SNIPE can serve as reference implementation for the manuscript, and vice versa.
Evolving neural networks: I want to add a nice chapter on evolving neural networks (which is, for example, one of the focuses of SNIPE, too). Evolving means, just growing populations of neural networks in an evolutionary-inspired way, including topology and synaptic weights, which also works with recurrent neural networks.
Hints for practice: In chapters 4 and 5, I'm still missing lots of practice hints (e.g. how to preprocess learning data, and other hints particularly concerning MLPs).
Smaller issues: A short section about resilient propagation and some more algorithms would be great in chapter 5. The chapter about recurrent neural networks could be extended. Some references are still missing. A small chapter about echo state networks would be nice.

I think, this is it … as you can see, there's still a bit of work to do until I call the manuscript „finished“. All in all, It will be less work than I already did. However, it will take several further releases until everything is included.

A Brief Introduction to Neural Networks

opp — Fri, 13 Jan 2012 10:48:30 +0100

A Brief Introduction to Neural Networks

First of all on this page, the manuscript download links are presented to prevent users from unnecessary searching. Consequently, further information is given which may be relevant for the reader: Version information, terms of use and a summary of the manuscript „A Brief Introduction to Neural Networks“.

Download of the Manuscript

Download

Manuscript „A Brief Introduction to Neural Networks“. Choose among the following Versions:

English Version, 6.3MB, 244 pages
German Version, 6.4MB, 256 pages
SNIPE is the reference Neural Network framework for this manuscript (JAVA) and might also be of interest.

Both of the manuscripts represent the Zeta version, file type is PDF.

With some browsers, it may happen that downloads are not loaded. If this problem persists, try to download by right clicking on the dowload link and selecting „save as“!

If you want to place links, please use only this sub page as a target. Do not place links that point directly to the files. Filenames may change without notice, and moreover, it is useful to see this summary page before downloading.

Provide Feedback!

This manuscript relies very much on your feedback to improve it. As you can see from the lots of helpers mentioned in my frontmatter, I really appreciate and make use of feedback I receive from readers. If you have any complaints, bug-fixes, suggestions, or acclamations send emails to me or place a comment in the newly-added discussion section below at the bottom of this page. Be sure you get a response.

How to Cite this Manuscript

There's no official publisher, so you need to be careful with your citation. For now, use this:

David Kriesel, 2007, A Brief Introduction to Neural Networks, available at http://www.dkriesel.com

This reference is, of course, for the english version. Please look at the German translation of this page to find the German reference.

Please always include the URL – it's the only unique identifier to the text (for now)! Note the lack of edition name, which changes with every new edition, and Google Scholar and Citeseer both have trouble with fast-changing editions. If you prefer BibTeX:

@Book{ Kriesel2007NeuralNetworks, 
       author = { David Kriesel }, 
       title =  { A Brief Introduction to Neural Networks, Zeta version },
       year =   { 2007 }, 
       note =   { available at http://www.dkriesel.com } 
     }

Again, this reference is for the English version.

Terms of Use

From the epsilon edition, the text is licensed under the Creative Commons Attribution-No Derivative Works 3.0 Unported License, except for some little portions of the work licensed under more liberal licenses as mentioned in the frontmatter or throughout the text. Note that this license does not extend to the source files used to produce the document. Those are still mine.

Where are we going next?

To round off the manuscript, there is still some work to do. In general, I want to add the following aspects:

Implementation and SNIPE: While I was editing the manuscript, I was also implementing SNIPE a high performance framework for using neural networks with JAVA. This has to be brought in-line with the manuscript: I'd like to place remarks (e.g. „This feature is implemented in method XXX in SNIPE“) all over the manuscript. Moreover, an extensive discussion chapter on the efficient implementation of neural networks will be added. Thus, SNIPE can serve as reference implementation for the manuscript, and vice versa.
Evolving neural networks: I want to add a nice chapter on evolving neural networks (which is, for example, one of the focuses of SNIPE, too). Evolving means, just growing populations of neural networks in an evolutionary-inspired way, including topology and synaptic weights, which also works with recurrent neural networks.
Hints for practice: In chapters 4 and 5, I'm still missing lots of practice hints (e.g. how to preprocess learning data, and other hints particularly concerning MLPs).
Smaller issues: A short section about resilient propagation and some more algorithms would be great in chapter 5. The chapter about recurrent neural networks could be extended. Some references are still missing. A small chapter about echo state networks would be nice.

News

As of the manuscript's Epsilon version, update information is published in news articles whose headlines you find right below. Please click on any news title to get the information.

2011-10-21: New Release "A Brief Introduction to Neural Networks": Zeta version

2010-11-20: "A brief Introduction to Neural Networks": English version gets overwrought thoroughly!

2010-10-13: "A Brief Introduction to Neural Networks" published in Epsilon2 Version

2009-10-11: "A Brief Introduction to Neural Networks" published in Epsilon Version

Updates in the Delta Version

Lots of remarks put in that I got from readers, in particular concerning many tiny inconsistencies
Enhanced layout, changed some images Layout verbessert, Kleinigkeiten an Abbildungen geändert.
Some changes made in the overall arrangement
Translation into the English finished (Thanks to Beate Kuhl!!)

What are Neural Networks, and what are the Manuscript Contents?

Neural networks are a bio-inspired mechanism of data processing, that enables computers to learn technically similar to a brain and even generalize once solutions to enough problem instances are tought.

The manuscript „A Brief Introduction to Neural Networks“ is divided into several parts, that are again split to chapters. The contents of each chapter are summed up in the following.

Part I: From Biology to Formalization -- Motivation, Philosophy, History and Realization of Neural Models

Introduction, Motivation and History

How to teach a computer? You can either write a rigid program – or you can enable the computer to learn on its own. Living beings don't have any programmer writing a program for developing their skills, which only has to be executed. They learn by themselves – without the initial experience of external knowledge – and thus can solve problems better than any computer today. KaWhat qualities are needed to achieve such a behavior for devices like computers? Can such cognition be adapted from biology? History, development, decline and resurgence of a wide approach to solve problems.

Biologische Neuronale Netze

How do biological systems solve problems? How is a system of neurons working? How can we understand its functionality? What are different quantities of neurons able to do? Where in the nervous system are information processed? A short biological overview of the complexity of simple elements of neural information processing followed by some thoughts about their simplification in order to technically adapt them.

Components of Artificial Neural Networks

Formal definitions and colloquial explanations of the components that realize the technical adaptations of biological neural networks. Initial descriptions of how to combine these components to a neural network.

How to Train a Neural Network?

Approaches and thoughts of how to teach machines. Should neural networks be corrected? Should they only be encouraged? Or should they even learn without any help? Thoughts about what we want to change during the learning procedure and how we will change it, about the measurement of errors and when we have learned enough.

Part II: Supervised learning Network Paradigms

The Perceptron

A classic among the neural networks. If we talk about a neural network, then in the majority of cases we speak about a percepton or a variation of it. Perceptrons are multi-layer networks without recurrence and with fixed input and output layers. Description of a perceptron, its limits and extensions that should avoid the limitations. Derivation of learning procedures and discussion about their problems.

Radial Basis Functions

RBF networks approximate functions by stretching and compressing Gaussians and then summing them spatially shifted. Description of their functions and their learning process. Comparison with multi-layer perceptrons.

Recurrent Multi-layer Perceptrons

Some thoughts about networks with internal states. Learning approaches using such networks, overview of their dynamics.

Hopfield Networks

In a magnetic field, each particle applies a force to any other particle so that all particles adjust their movements in the energetically most favorable way. This natural mechanism is copied to adjust noisy inputs in order to match their real models.

Learning Vector Quantisation

Learning vector quantization is a learning procedure with the aim to reproduce the vector training sets divided in predefined classes as good as possible by using a few representative vectors. If this has been managed, vectors which were unkown until then could easily be assigned to one of these classes.

Part III: Unsupervised learning Network Paradigms

Self Organizing Feature Maps

A paradigm of unsupervised learning neural networks, which maps an input space by its fixed topology and thus independently looks for simililarities. Function, learning procedure, variations and neural gas.

Adaptive Resonance Theory

An ART network in its original form shall classify binary input vectors, i.e. to assign them to a 1-out-of-n output. Simultaneously, the so far unclassified patterns shall be recognized and assigned to a new class.

Part IV: Excursi, Appendices and Registers

Cluster Analysis and Regional and Online Learnable Fields

In Grimm's dictionary the extinct German word „Kluster“ is described by „was dicht und dick zusammensitzet (a thick and dense group of sth.)“. In static cluster analysis, the formation of groups within point clouds is explored. Introduction of some procedures, comparison of their advantages and disadvantages. Discussion of an adaptive clustering method based on neural networks. A regional and online learnable field models from a point cloud, possibly with a lot of points, a comparatively small set of neurons being representative for the point cloud.

Neural Networks Used for Prediction

Discussion of an application of neural networks: A look ahead into the future of time series.

Reinforcement Learning

What if there were no training examples but it would nevertheless be possible to evaluate how good we have learned to solve a problem? et us regard a learning paradigm that is situated between supervised and unsupervised learning.

~~DISCUSSION~~

SNIPE - Scalable and Generalized Neural Information Processing Engine

opp — Fri, 13 Jan 2012 10:47:02 +0100

SNIPE - Scalable and Generalized Neural Information Processing Engine

SNIPE (click here to get on the dedicated page) is a well-documented JAVA library that implements a framework for neural networks in a speedy, feature-rich and usable way. It was originally designed for high performance simulations with lots and lots of neural networks (even large ones) being trained simultaneously, and therefore it is pretty optimized. Have fun with it!

SNIPE is designed with respect to each of the following goals:

Generalized data structure for arbitrary network topologies, so that virtually all network structures can be realized or even easily hand-crafted.
Built-In, fast and easy-to-use learning operators for gradient descent or evolutionary learning, as well as mechanisms for efficient control of even large network populations.
Mechanisms for design and control of even large populations of neural networks
Optimal speed neural network data propagation in contrast to naive data structures, even in special cases like multilayer perceptrons and sparse networks, as well as low computational topology editing effort.
Low memory consumption - grows only with the number of synapses, not quadratically with the number of neurons
In-situ processing - no extra memory or preprocessing of the data structure is necessary in order to use the network after editing
Usage of only low level data structures (arrays) for easy portability. It is not the goal to quench the last tiniest bit of asymptotic complexity out of the structure, but to make it usable, light weight and fast in praxis.
No object-oriented overload, like objects for every neuron or even synapses, etc.

SNIPE - Scalable and Generalized Neural Information Processing Engine

opp — Fri, 13 Jan 2012 10:44:55 +0100

SNIPE - Scalable and Generalized Neural Information Processing Engine

SNIPE (hier für Unterseite klicken) ist eine ausführlich dokumentierte JAVA-Bibliothek, welche ein schnelles, feature-reiches und einfach benutzbares Framework für Neuronale Netze implementiert. Es ist ursprünglich für den Einsatz in Hochleistungssimulationen konzipiert, in denen sehr viele, auch große Netze gleichzeitig trainiert und ausgeführt werden und dementsprechend optimiert. Viel Spaß damit!

Das Design und die Implementierung von SNIPE wurde so konzipiert, dass es jedem der folgenden Ziele gerecht wird:

Generalisierte Datenstruktur für beliebige Netzwerktopologien, so dass praktisch alle Netzwerktopologien realisiert oder auf einfache Weise manuell modelliert werden können.
Direkt eingebaute, schnell und einfach zu verwendende Lernverfahren sowohl für gradientenbasiertes Lernen als auch für Evolutionäre Algorithmen.
Mechanismen für Design und Kontrolle von großen Mengen von Netzen
Optimal schnelle Propagierung von Daten durch das Netz, im Gegensatz zu landläufigen und häufig implementierten Datenstrukturen. Dies soll auch für topologische Spezialfälle, wie Multi-Layer-Perceptrons oder sehr dünn besetzte Netzwerke gelten. Obendrein soll der Rechenaufwand bei Topologieänderungen gering sein.
Geringer Speicherverbrauch - wächst nur linear mit der Zahl der Synapsen und nicht quadratisch zur Zahl der Neurone.
In-situ-Datenverarbeitung - Keine Vorverarbeitung der netzinternen Datenstrukturen vor Benutzung gerade editierter Netze notwendig, also auch kein diesbezüglicher Speicher- und Rechenzeitverbrauch.
Gebrauch von Lowlevel-Datenstrukturen (arrays) für einfache Portabilität. Es ist nicht das Ziel, das letzte bisschen asymptotischer Komplexität aus dem Framework herauszuquetschen, sondern es in der Praxis schlank, benutzbar und schnell zu halten.
Kein objektorientierter Overload. Ich habe schon Implementierungen gesehen, die eigene Objekte für Synapsen und Neurone vorsehen.